Meta показала систему, восстанавливающую текст по мозгу

Компания Meta 29 июня представила Brain2Qwerty v2, систему, которая по неинвазивным записям активности мозга восстанавливает набираемый текст. Разработка работает с записями магнитоэнцефалографии (MEG) и пока проводилась в лабораторных условиях на здоровых добровольцах.

Модель обучили примерно на 22 000 предложений. В исследовании участвовали девять добровольцев, каждый из них провел около 10 часов в сканере MEG, во время которых печатал услышанные фразы на клавиатуре. Все записи использовались для обучения и тестирования алгоритма.

Система принимает непрерывную запись мозговой активности и восстанавливает предложение целиком. Для уточнения результата применяется дообученная языковая модель, учитывающая смысловой контекст последовательности сигналов.

В описании метода Meta приводит формулировку: «Вместо созданных вручную схем для выявления нейронных событий мы используем сквозное глубокое обучение, чтобы декодировать данные напрямую из сырых сигналов мозга». По сравнению с предыдущими неинвазивными подходами средняя точность по словам выросла до 61% против примерно 8% у предшественников.

Лучший участник эксперимента показал 78% точности на уровне слов; более половины предложений этого участника система декодировала с одной ошибкой или без ошибок. В отчете Meta указано, что модель восстанавливает целые предложения, а не отдельные слова по мере набора.

Из-за того, что система обрабатывает последовательность целиком, она не обеспечивает ввода текста в реальном времени: пользователь не видит каждое слово сразу после набора. Метод не проверяли в тех же условиях на людях с потерей речи или моторных функций; для таких случаев нужны отдельные исследования и проверки.

Разработка входит в инициативу Digital Brain Project, направленную на создание открытых нейронаучных наборов данных; бюджет программы составляет $5 млн. Ранее, в сентябре 2022 года, компания публиковала другое исследование по декодированию мозговых сигналов, но текущая система использует неинвазивные MEG‑записи и ориентирована на восстановление набранного текста.

Авторы исследования подчеркивают, что результаты получены в лабораторных условиях и требуют дополнительной проверки и валидации перед возможным клиническим применением или использованием в повседневных устройствах.