Brain-Computer Interface kan oversætte tanker til tale

Neuroengineers har skabt et nyt system, der kan oversætte simple tanker til genkendelig tale ved hjælp af kunstig intelligens og tale synthesizer, ifølge en undersøgelse offentliggjort tirsdag.

Et team af New York-baserede forskere var i stand til at rekonstruere ord, der kun brugte hjerneaktivitet, en innovation, der kunne bane vej for hjernekontrollerede teknologier som f.eks. En smartphone, som kan oversætte dine tanker til tekstbeskeder.

Dr. Nima Mesgarani, en lektor ved Columbia University, ledede undersøgelsen og fortæller Inverse at han ser stort potentiale til at hjælpe med at genoprette tale til mennesker, der genvinder sig fra et slagtilfælde eller lever med amyotrofisk lateralsklerose (ALS). Længere ned på linjen kunne denne type teknologi også åbne døre til hjerneforbundne smartphones, der kunne lade brugerteksten bruge deres tanker, selvom det stadig er en vej væk. Hans arbejde blev udgivet i tidsskriftet Videnskabelige rapporter.

"En af motivationerne i dette arbejde … er for alternative human-computer interaktionsmetoder, såsom en mulig grænseflade mellem en bruger og en smartphone," siger han. "Det er dog stadig langt fra virkeligheden, og i øjeblikket er informationen, der kan udvindes ved hjælp af ikke-invasive metoder, ikke god nok til en tale-brain-computer interface applikation."

Lyt til talen genereret af hjernedatabase-grænsefladen.

For at udvikle den nye teknik, begyndte Mesgarani og hans kollega, Dr. Ashesh Dinesh Mehta fra Northwell Health Physician Partners Neuroscience Institute, at undersøge epilepsipatienternes hjerneaktivitet til deres undersøgelse. Disse patienter havde allerede elektrodeimplantater i deres hjerner for at overvåge anfald, hvilket Mesgarani og Mehta kunne bruge til at indsamle data til deres forskning.

Duoen bad villige deltagere om at lytte til højttalere recitere tallene mellem nul og ni og derefter optagede hjernens signaler fra den interaktion. Dernæst trænede de et neuralt netværk - et program som efterligner neuronstrukturen i den menneskelige hjerne - genkender mønstre i signalerne og oversætter dem til robotkundende ord ved hjælp af en talesyntese, kendt som vokoder.

Resultatet var et kort stemmeklip af, hvad der lyder som Microsoft Sam tæller fra nul til ni. Den imponerende del er, hvor klar talen er sammenlignet med andre metoder, som forskerne testede. Der er dog stadig meget arbejde at gøre.

"Det kan tage et årti før denne teknologi bliver tilgængelig," siger Mesgarani. "Vi har brug for flere fremskridt både i langsigtede, biokompatible implanterbare elektroder og / eller gennembrudsteknologier i ikke-invasive neurale optagelsesmetoder. Vi har også brug for en bedre forståelse af hvordan hjernen repræsenterer tale, så vi kan forfine vores afkodningsmetoder."

Patienterne, der var en del af denne undersøgelse, havde for eksempel alle hjernekirurgi til implantation af elektrokortikografiske monitorer. Dette er en ekstremt invasiv proces, der kræver åben hjernekirurgi, noget som de fleste måske ikke vil være villige til at gennemgå, selvom der var mulighed for at genoprette nogle af deres talekapaciteter.

For nu har denne undersøgelse indført en metode til afkodning af hjerne signaler til tale. Hvis vi finder ud af, hvordan vi nøjagtigt registrerer hjernens aktivitet uden operation, er vi et skridt tættere på ikke blot at revolutionere taleterapi, men potentielt mod at skabe hjerneforbundne smartphones.

Hjerne-computer interface forskning har modtaget nyfundet interesse i de seneste år. I april 2017 meddelte Facebook, at den arbejdede på en BCI under sin årlige F8-konference. Og Elon Musk annoncerede i november 2018, at Neuralink, hans egen BCI opstart, var ansættelse.

Abstrakt

Auditiv stimulus rekonstruktion er en teknik, der finder den bedste tilnærmelse af den akustiske stimulus fra befolkningen af ​​fremkaldt neurale aktivitet. Rekonstruktion af tale fra den menneskelige auditory cortex skaber mulighed for en tale neuroprosthetik til at etablere en direkte kommunikation med hjernen og har vist sig at være muligt i både åbenlyse og skjulte forhold. Den lave kvalitet af den rekonstruerede tale har dog alvorligt begrænset brugen af ​​denne metode til applikationer til hjerne-computer-grænseflade (BCI). For at fremskynde state-of-the-art i tale-neuroprostese kombinerede vi de seneste fremskridt inden for dyb læring med de nyeste innovationer i talesyntese teknologier til rekonstruktion af lukket sæt forståelig tale fra den menneskelige auditiv cortex. Vi undersøgte afhængigheden af ​​genopbygningsnøjagtighed på lineære og ikke-lineære (deep neural network) regressionsmetoder og den akustiske repræsentation, der anvendes som mål for rekonstruktion, herunder auditive spektrogram og talesynteseparametre. Derudover sammenlignede vi genopbygningsnøjagtigheden fra lave og høje neurale frekvensområder. Vores resultater viser, at en dyb neural netværksmodel, der direkte estimerer parametrene for en talesynteseapparat fra alle neurale frekvenser, opnår de højeste subjektive og objektive scorer på en cifret genkendelsesopgave, hvilket forbedrer forståelsen med 65% over baselinemetoden, der anvendte lineær regression til rekonstruere det auditive spektrogram. Disse resultater viser effektiviteten af ​​dyb læring og talesyntesalgoritmer til udformning af den næste generation af tal BCI-systemer, som ikke kun kan genoprette kommunikation til lammede patienter, men også have potentiale til at transformere interaktioner mellem mennesker og computere.

Relateret video: Brain Wave Sensing Robots kan tjene som forlængelser af menneskekroppen