Meta показала систему, що відтворює текст за активністю мозку
Meta представила Brain2Qwerty v2 — неінвазивну систему, яка відтворює набраний текст із записів мозкової активності; середня точність слів — 61%.
29 червня Meta презентувала Brain2Qwerty v2 — систему, яка відтворює набраний текст із неперервних записів мозкової активності без хірургічного втручання. Компанія повідомила, що середня точність відновлення слів становить 61% порівняно з приблизно 8% у попередніх неінвазивних підходів.
Модель навчали приблизно на 22 000 речень. Експеримент провели за участі дев’яти здорових добровольців: кожен провів близько десяти годин у сканері магнітоенцефалографії (MEG) і друкував почуті фрази на клавіатурі. Це дозволило зіставити записи мозкової активності з реальним введеним текстом.
Система працює з неперервними MEG-сигналами і відтворює речення цілком, а не по словах. Для декодування використовують наскрізне глибоке навчання, а для уточнення результату — додатково натреновану мовну модель, яка враховує смисловий контекст. У Meta навели таке пояснення: «Замість створених вручну схем для виявлення нейронних подій ми використовуємо наскрізне глибоке навчання, щоб декодувати дані безпосередньо із сирих сигналів мозку».
За результатами тестування середня точність відновлення на рівні слів становила 61%. Найкращий учасник досяг 78% точності на рівні слів; понад половину його речень система декодувала з однією помилкою або без помилок. Компанія зазначила, що модель обробляє речення цілком, тому користувач не бачить кожного слова одразу після набору, і система наразі не працює як повноцінне введення тексту в реальному часі.
Розробку тестували лише на здорових добровольцях, які фактично друкували текст; ефективність для людей, які втратили мовлення або здатність рухатися, має бути підтверджена окремими дослідженнями. Meta також вказала, що технологія ще не готова до клінічного або побутового застосування.
Проєкт пов’язаний із Digital Brain Project — ініціативою зі створення відкритих нейронаукових наборів даних. Бюджет програми становить 5 мільйонів доларів. Компанія планує подальші випробування та публікацію наборів даних для наукової спільноти.
У червні команда Каліфорнійського університету в Девісі повідомила про тривале домашнє використання мовного нейроінтерфейсу у пацієнта з бічним аміотрофічним склерозом, що ілюструє інтерес дослідників до технологій відновлення спілкування.
Матеріали на GNcrypto надаються виключно з інформаційною метою і не є фінансовою порадою. Ми намагаємось забезпечувати точність та актуальність даних, однак не можемо гарантувати їхню повну достовірність чи надійність. GNcrypto не несе відповідальності за можливі помилки, упущення або фінансові збитки, що можуть виникнути внаслідок використання цієї інформації. Усі дії ви здійснюєте на власний ризик. Завжди проводьте власне дослідження та звертайтесь до фахівців. Детальніше дивіться на наших сторiнках Умови, Політика конфіденційності та Дисклеймер.
Статті цього автора
