Группа ученых разработала искусственный интеллект (ИИ), способный преобразовывать мозговую активность в текст

Исследователи из США в течение более 3 лет отслеживали нейронные данные людей во время их разговоров. Используя нейронные паттерны, обнаруженные при произнесении речи вслух, система в настоящее время функционирует. Однако эксперты считают, что в конечном итоге она сможет помочь в общении пациентам, которые не могут говорить или набирать текст, таким, как люди, страдающие синдромом запертого человека.

"Мы пока не достигли этой цели, но мы считаем, что это может стать основой развития речевого протеза", - сказал доктор Джозеф Макин, соавтор исследования из Калифорнийского университета в Сан-Франциско.

Систему разработали, используя четырех участников, у которых в мозг были вживлены электродные массивы для мониторинга эпилептических приступов. Участникам было предложено прочитать вслух 50 заданных предложений, включая такие фразы, как "Тина Тернер - поп-певица" и "Эти воры украли 30 драгоценностей". Команда отслеживала их нейронную активность во время речи. Затем полученные данные были переданы в алгоритм машинного обучения, который преобразовывал данные о нейронной активности для каждого произнесенного предложения в последовательность чисел.

Чтобы проверить, что числа соответствуют только аспектам речи, система сравнивала предсказываемые звуки на основе небольших фрагментов данных о нейронной активности с реальными аудиозаписями. Затем числа передавались во вторую часть системы, которая преобразовывала их в последовательность слов. Сначала система генерировала бессмысленные предложения, но с каждым новым сравнением последовательностей слов с произнесенными фразами она улучшалась и узнавала, какой последовательности чисел соответствуют слова и какие слова идут друг за другом. Затем команда протестировала систему, создавая письменный текст на основе мозговой активности во время речи.

Система была не идеальной. Тем не менее, команда обнаружила, что точность новой системы значительно превосходила предыдущие подходы. Хотя точность варьировалась в зависимости от человека, одному из участников требовалось в среднем исправить всего 3% от каждого предложения, что выше, чем уровень ошибок в словах, составляющий 5% у профессиональных транскрибаторов. Однако команда отметила, что алгоритм обрабатывает всего лишь небольшое количество предложений.

Доктор Кристиан Херфф, эксперт в этой области из Маастрихтского университета, который не участвовал в исследовании, сказал, что исследование было интересным, так как система использовала менее 40 минут тренировочных данных для каждого участника и ограниченный набор предложений, а не миллионы часов, как обычно требуется. Однако Херфф отметил, что система пока не может быть использована для большинства пациентов с тяжелыми формами инвалидности, так как она основана на активности мозга, произносящего предложения вслух.