Служные умы – Гарвардская газета

В течение многих лет люди с параличом использовали интерфейсы с компьютером мозга, чтобы превратить нейронные сигналы в действия, размышляя о действиях, которые они хотели бы предпринять: ввод слов, управление роботизированными руками, вызывая речь. Но новое исследование показывает, что интерфейсы могут перевести не только предполагаемую речь, но и внутренние мысли. Вроде.

Это важный шаг для людей с проблемами коммуникаций, сказал Даниэль Рубинавтор изучать В журнале ячейка.

«Общение является своего рода ключевой частью того, чем мы являемся, как люди», – сказал Рубин, преподаватель Гарвардской медицинской школы и невролог в Mass General. «И поэтому мы можем помочь восстановить общение, это способ улучшить качество жизни».

Исследование основывается на десятилетиях работы от Braingate, долгосрочного клинического испытания с несколькими институтами. Ранние эксперименты дали людям с параличом способность выполнять различные задачи-буквы типа, перемещать компьютерный курсор, управлять механическим руком-используя имплантированный раздела мозговой компьютер (BCI). Участники представляли, как поднимали руки вверх, вниз, влево или вправо, в то время как крошечные датчики в коре моторной коры декодировали эти намерения. В последние годы исследователи задавались вопросом, могут ли вместо декодирования предполагаемого движения руки, запястья и рук они могут вместо этого декодировать предполагаемое движение мышц, которые мы используем, – лицо, рот, челюсть и язык.

Ответ – да – но только благодаря достижениям в области искусственного интеллекта.

«Это совершенно другая вычислительная проблема – думать о декодировании речи по сравнению с декодирующими движениями рук», – сказал Рубин.

Чтобы упростить задачу, участники попытались выступить с заданными предложениями. Электродные массивы, имплантированные на их моторные кортикальные, подбирали сигналы, соответствующие 39 английским фонемам, или основные речевые звуки. Затем модели машинного обучения собрали эти звуки в наиболее вероятные слова и предложения.

«Это делает это в некоторой степени, вероятно,»,-сказал соавтор исследования Зив Уильямсдоцент в Гарвардской медицинской школе и нейрохирург в MGH. «Например, если записав нейроны в мозге, вы знаете, что есть звук« D »и звук« G », они, вероятно, пытаются сказать слово« собака ».» »» »» »» »»

После того, как было установлено, что алгоритмы могут декодировать предполагаемую речь, следователи – во главе с командой Braingate в Стэнфордском университете, включая Уильямс, Рубин и их коллегу из Гарварда/MGH Ли Хохберг – повернулся к внутренний речь. Предыдущие исследования показали, что тихо репетиция слов активирует сходные области моторной коры, как предполагаемая речь, просто при более низкой прочности сигнала.

В одном из нескольких экспериментов, посвященных декодированию внутренней речи, исследователи попросили участников взглянуть на сетку цветных форм – в данном случае, зеленые круги, зеленые прямоугольники, розовые круги и розовые прямоугольники. Команда предположила, что, когда его попросили сосчитать только розовые прямоугольники, участники использовали свою внутреннюю речь, чтобы подсчитать формы, когда они отсканировали сетку. В течение нескольких испытаний декодер научился получать числовые слова из этих невысказанных счетов.

Но система столкнулась с проблемами, когда исследователи попытались декодировать неструктурированную внутреннюю мысль. Когда участникам были заданы открытые автобиографические вопросы-например, «подумайте о запоминающемся отпуске, который вы взяли»-декодеры в основном вызывали шум.

Рубину это доходит до самого корня самой мысли и ограничения взгляда в чужой мозг. «Когда я думаю, я слышу свой собственный голос, говорящий что -то; у меня всегда есть внутренний монолог», – сказал он. «Но это не обязательно универсальный опыт». Многие люди не слышат слова, когда они думают про себя, сказал он; Люди, которые в основном используют язык жестов, могут испытывать мысли как визуализацию движений рук.

«Это попадает в область нейробиологии, о которой мы только начинаем иметь основу, о которой можно подумать», – сказал Рубин. «Это представление о том, что представление речи, вероятно, отличается от представления языка».

По словам Рубина, имплантаты следующего поколения, вероятно, упаковывают в 10 раз больше электродов в одно и то же пространство, значительно расширяя нейронные сигналы. Он считает, что это будет иметь большое значение для будущих пользователей.

«То, что мы излагаем, так это то, что это исследование, мы не можем гарантировать, что все будет работать отлично», – сказал он. «Все наши участники знают это, и они говорят:« Вы знаете, что было бы здорово, если бы это могло использовать и был бы полезен для меня ». Но они действительно участвуют так, чтобы у людей, у которых есть паралич, будут иметь лучший опыт и улучшение качества жизни ».

По крайней мере, для некоторых участников, это уже оказывает влияние. Два из четырех человек, представленных в исследовании, используют свой BCI в качестве основного способа общения.