Мозговой имплантат в сочетании с приложением искусственного интеллекта позволяет почти немому человеку говорить на двух языках

Важные новости

Мозговой имплантат в сочетании Приложение с искусственным интеллектом позволяет почти немому человеку говорить на двух языках

Принципиальная схема двуязычной системы декодирования. В каждом испытании участнику предлагается целевая фраза на английском или испанском языке. Участник намеренно активирует систему, пытаясь заговорить, и эта попытка распознается по нейронным характеристикам с помощью модели распознавания речи. Авторы и права: Природная биомедицинская инженерия (2024 г.). DOI: 10.1038/s41551-024-01207-5

Команда нейрохирургов и специалистов по искусственному интеллекту из Калифорнийского университета в Сан-Франциско добилась определенных успехов в восстановлении речи у пациента, потерявшего способность после инсульта.

В своем исследовании, опубликованном в журнале Nature Biomedical Engineeringгруппа имплантировала интерфейс мозг-компьютер (BCI) в череп человека по прозвищу «Панчо» и применила методы искусственного интеллекта к предоставленным данным, чтобы помочь пациенту снова говорить – на двух языках.

Предыдущие испытания показали, что можно имплантировать зонд на поверхность мозга, чтобы считывать мозговые волны, а затем применять методы обучения к данным, которые он предоставляет, в качестве средства преобразования некоторых мозговых волн в слова. В этой новой работе исследовательская группа пошла еще дальше, добавив еще один элемент – второй язык.

Доброволец Панчо был носителем испанского языка. Большую часть этой способности он потерял, когда в 20 лет у него случился инсульт. Несколько лет спустя он научился читать и мысленно переводить слова на английский язык.

Совсем недавно он участвовал в исследовательском проекте, в ходе которого на поверхность части его мозга, отвечающей за обработку речи, была нанесена решетка электродов; разъем в его черепе позволил BCI подключиться к компьютерной системе.

В течение следующих трех лет Панчо проходил обучение. Ему показывали слова на экране компьютера, а затем просили повторить их в уме. При этом зонд считывал его мозговые волны и пытался преобразовать их в слово, которое он читал. В рамках обучения Панчо показывали как испанские, так и английские слова. LLM помог в расшифровке и преобразовании, а также уменьшил количество ошибок.

Система продемонстрировала точность 88 % при определении того, когда Панчо говорил на испанском или английском языке, и 75 % при расшифровке слов в целом. Исследователи отмечают, что этого было достаточно, чтобы позволить ему вести беседы с исследовательской группой.

Дополнительная информация: Александр Б. Сильва и др., двуязычный человек. речевой нейропротез, управляемый кортикальными артикуляционными представлениями, общими для разных языков, Nature Biomedical Engineering (2024). DOI: 10.1038/s41551-024-01207-5

Информация журнала: Nature Biomedical Engineering

Новости сегодня

Последние новости