Gehirn-Computer-Schnittstelle kann Gedanken in Sprache übersetzen

Laut einer am Dienstag veröffentlichten Studie haben Neuro-Ingenieure ein neues System geschaffen, das einfache Gedanken mithilfe von künstlicher Intelligenz und eines Sprachsynthesizers in erkennbare Sprache umsetzen kann.

Ein Team von Forschern aus New York konnte Wörter nur mit Gehirnaktivität rekonstruieren. Diese Innovation könnte den Weg für gehirngesteuerte Technologien ebnen, wie zum Beispiel ein Smartphone, das Ihre Gedanken in Textnachrichten umwandeln kann.

Dr. Nima Mesgarani, Associate Professor an der Columbia University, leitete die Studie und berichtet Inverse er sieht ein großes Potenzial, um den Menschen, die sich von einem Schlaganfall erholen oder mit amyotropher Lateralsklerose (ALS) leben, die Sprache wiederherzustellen. Im weiteren Verlauf könnte diese Art von Technologie auch Türen für Smartphones mit Kopfhörern öffnen, die es Benutzern erlauben, mit ihrem Verstand Text zu schreiben, obwohl dies noch ein weiter Weg ist. Seine Arbeit wurde in der Zeitschrift veröffentlicht Wissenschaftliche Berichte.

„Eine der Motivationen dieser Arbeit… ist für alternative Mensch-Computer-Interaktionsmethoden, beispielsweise eine mögliche Schnittstelle zwischen einem Benutzer und einem Smartphone,“ sagt er. "Dies ist jedoch noch weit von der Realität entfernt, und im Moment sind die Informationen, die mit nichtinvasiven Methoden extrahiert werden können, nicht ausreichend für eine Sprach-Gehirn-Computer-Schnittstellenanwendung."

Hören Sie die von der Gehirn-Computer-Schnittstelle erzeugte Sprache.

Um die neue Technik zu entwickeln, untersuchten Mesgarani und sein Kollege Dr. Ashesh Dinesh Mehta vom Northwell Health Physician Partners Neuroscience Institute zunächst die Gehirnaktivität von Epilepsiepatienten für ihre Studie. Diese Patienten hatten bereits Elektrodenimplantate im Gehirn, um Anfälle zu überwachen, mit denen Mesgarani und Mehta Daten für ihre Forschung sammeln konnten.

Das Duo bat die bereitwilligen Teilnehmer, den Rednern die Zahlen zwischen Null und Neun anzuhören, und zeichnete die Gehirnsignale aus dieser Interaktion auf. Als Nächstes trainierten sie ein neuronales Netzwerk - ein Programm, das die Neuronenstruktur im menschlichen Gehirn nachahmt -, um Muster in den Signalen zu erkennen und sie mithilfe eines Sprachsynthesizers (Vocoder) in robotisch klingende Wörter zu übersetzen.

Das Ergebnis war ein kurzer Sprachclip, der anzeigte, wie sich Microsoft Sam von Null bis Neun zählt. Das Beeindruckende ist, wie klar die Sprache im Vergleich zu anderen Methoden ist, die die Forscher getestet haben. Es bleibt jedoch noch viel zu tun.

"Es kann ein Jahrzehnt dauern, bis diese Technologie verfügbar wird", sagt Mesgarani. „Wir brauchen mehr Fortschritt sowohl bei langlebigen biokompatiblen implantierbaren Elektroden als auch bei Durchbruchstechnologien bei nichtinvasiven neuronalen Aufzeichnungsverfahren. Wir brauchen auch ein besseres Verständnis dafür, wie das Gehirn Sprache darstellt, damit wir unsere Entschlüsselungsmethoden verfeinern können. “

Die Patienten, die an dieser Studie teilnahmen, hatten zum Beispiel alle eine Gehirnoperation zur Implantation von Elektrokortikographiemonitoren. Dies ist ein extrem invasiver Prozess, der eine Operation des offenen Gehirns erfordert. Dies ist für die meisten Menschen möglicherweise nicht gewillt, selbst wenn die Möglichkeit besteht, einige ihrer Sprachfähigkeiten wiederherzustellen.

In dieser Studie wurde zunächst eine Methode zur Dekodierung von Gehirnsignalen in Sprache eingeführt. Wenn wir herausfinden, wie man die Gehirnaktivität ohne Operation genau erkennen kann, sind wir der Revolutionstherapie nicht nur einen Schritt näher gekommen, sondern möglicherweise auch mit dem Gehirn verbundene Smartphones.

Die Forschung an Gehirn-Computer-Schnittstellen hat in den letzten Jahren ein neues Interesse gefunden. Im April 2017 gab Facebook bekannt, dass er während seiner jährlichen F8-Konferenz an einem BCI arbeite. Und im November 2018 gab Elon Musk bekannt, dass Neuralink, sein eigenes BCI-Startup, eingestellt hat.

Abstrakt

Die auditorische Stimulusrekonstruktion ist eine Technik, die die beste Annäherung an den akustischen Stimulus aus der Population evozierter neuronaler Aktivität findet. Die Rekonstruktion von Sprache aus dem menschlichen Hörkortex schafft die Möglichkeit einer sprachneuroprothetischen Verbindung, eine direkte Kommunikation mit dem Gehirn herzustellen, und es hat sich gezeigt, dass dies sowohl unter offenen als auch unter verdeckten Bedingungen möglich ist. Die geringe Qualität der rekonstruierten Sprache hat jedoch den Nutzen dieser Methode für BCI-Anwendungen (Brain Computer Interface) stark eingeschränkt. Um den Stand der Technik in der Sprachneuroprothese voranzubringen, kombinierten wir die jüngsten Fortschritte im Bereich des Tiefenlernens mit den neuesten Innovationen in der Sprachsynthesetechnologie, um geschlossene verständliche Sprache aus dem menschlichen auditorischen Kortex zu rekonstruieren. Wir untersuchten die Abhängigkeit der Rekonstruktionsgenauigkeit von linearen und nichtlinearen Regressionsmethoden (Deep Neural Network) und die akustische Darstellung, die als Ziel der Rekonstruktion verwendet wird, einschließlich auditorischer Spektrogramm- und Sprachsyntheseparameter. Außerdem haben wir die Rekonstruktionsgenauigkeit aus niedrigen und hohen neuronalen Frequenzbereichen verglichen. Unsere Ergebnisse zeigen, dass ein tiefes neuronales Netzwerkmodell, das die Parameter eines Sprachsynthesizers direkt aus allen neuronalen Frequenzen abschätzt, die höchsten subjektiven und objektiven Werte bei einer Ziffernerkennungsaufgabe erzielt und die Verständlichkeit um 65% gegenüber der Basismethode verbessert, bei der die lineare Regression verwendet wurde das auditorische Spektrogramm rekonstruieren. Diese Ergebnisse zeigen die Wirksamkeit von Deep-Learning- und Sprachsynthesealgorithmen für die Entwicklung der nächsten Generation von Sprach-BCI-Systemen, die nicht nur die Kommunikation für gelähmte Patienten wiederherstellen können, sondern auch das Potenzial haben, Mensch-Computer-Interaktionstechnologien zu transformieren.

In Verbindung stehendes Video: Gehirnwellen-Abtastroboter können als Erweiterungen des menschlichen Körpers dienen