Новое исследование показывает, что неинвазивная визуализация мозга может различать жесты рук

Исследователи из Калифорнийского университета в Сан-Диего нашли способ различать жесты рук, которые делают люди, изучая только данные неинвазивной визуализации мозга, без информации от самих рук. Полученные результаты являются ранним шагом в разработке неинвазивного интерфейса мозг-компьютер, который однажды может позволить пациентам с параличом, ампутированными конечностями или другими физическими проблемами использовать свой разум для управления устройством, помогающим выполнять повседневные задачи.

Исследование, недавно опубликованное в Интернете перед печатью в журнале Кора головного мозгапредставляет наилучшие результаты в различении жестов одной рукой с использованием полностью неинвазивной техники, в данном случае магнитоэнцефалографии (МЭГ).

«Наша цель состояла в том, чтобы обойти инвазивные компоненты», — сказал старший автор статьи Минсюн Хуан, доктор философии, содиректор Центра MEG в Институте Qualcomm в Калифорнийском университете в Сан-Диего. Хуанг также связан с кафедрой электротехники и вычислительной техники Инженерной школы Джейкобса Калифорнийского университета в Сан-Диего и кафедрой радиологии Медицинской школы Калифорнийского университета в Сан-Диего, а также с системой здравоохранения Сан-Диего по делам ветеранов (VA). «MEG обеспечивает безопасный и точный вариант разработки интерфейс мозг-компьютер что в конечном итоге может помочь пациентам».

Исследователи подчеркнули преимущества МЭГ, в котором используется шлем со встроенной матрицей из 306 датчиков для обнаружения магнитных полей, создаваемых нейронными электрическими токами, перемещающимися между нейронами в мозге. мозг. Альтернативные методы интерфейса мозг-компьютер включают электрокортикографию (ЭКоГ), которая требует хирургической имплантации электродов на поверхность мозга, и электроэнцефалографию кожи головы (ЭЭГ), которая менее точно определяет активность мозга.

«С МЭГ я могу видеть, как мозг думает, не снимая череп и не накладывая электроды на сам мозг», — сказал соавтор исследования Роланд Ли, доктор медицинских наук, директор Центра МЭГ в Институте Qualcomm Калифорнийского университета в Сан-Диего, почетный профессор радиолог в Медицинской школе Калифорнийского университета в Сан-Диего и врач системы здравоохранения штата Вирджиния в Сан-Диего. «Мне просто нужно надеть им на голову МЭГ-шлем. Нет электродов, которые могут сломаться, будучи имплантированными в голову; нет дорогих и деликатных операций на головном мозге; нет возможных инфекций мозга».

Ли сравнивает безопасность МЭГ с измерением температуры пациента. «МЭГ измеряет магнитную энергию, которую излучает ваш мозг, подобно тому, как термометр измеряет тепло, выделяемое вашим телом. Это делает его совершенно неинвазивным и безопасным».

Камень ножницы Бумага

В текущем исследовании оценивалась способность использовать МЭГ для различения жестов рук, сделанных 12 добровольцами. Добровольцам надели шлем MEG и случайным образом проинструктировали сделать один из жестов, используемых в игре «Камень, ножницы, бумага» (как и в предыдущих исследованиях такого рода). Функциональная информация МЭГ была наложена на изображения МРТ, которые предоставили структурную информацию о мозге.

Чтобы интерпретировать полученные данные, Ифэн («Троя») Бу, доктор технических наук в области электротехники и вычислительной техники. студент Инженерной школы Джейкобса Калифорнийского университета в Сан-Диего и первый автор статьи написал высокопроизводительную модель глубокого обучения под названием MEG-RPSnet.

«Особенностью этой сети является то, что она сочетает в себе пространственные и временные характеристики одновременно», — сказал Бу. «Это главная причина, по которой он работает лучше, чем предыдущие модели».

Когда были получены результаты исследования, исследователи обнаружили, что их методы можно использовать для различения жесты с точностью более 85%. Эти результаты были сопоставимы с результатами предыдущих исследований с гораздо меньшим размером выборки с использованием инвазивного интерфейса мозг-компьютер ЭКоГ.

Команда также обнаружила, что измерения МЭГ только в половине отобранных областей мозга могут давать результаты с небольшой (2–3%) потерей точности, что указывает на то, что в будущих шлемах МЭГ может потребоваться меньше датчиков.

Забегая вперед, Бу отметил: «Эта работа закладывает основу для будущей разработки интерфейса мозг-компьютер на основе МЭГ».

Помимо Хуана, Ли и Бу, статья «Интерфейс мозг-компьютер на основе магнитоэнцефалограммы для декодирования жестов рук с использованием глубокого обучения» была написана Деборой Л. Харрингтон, Цянь Шен и Аннемари Анхелес-Куинто из VA San Diego Healthcare. System и медицинский факультет Калифорнийского университета в Сан-Диего; Хейден Хансен из системы здравоохранения штата Вирджиния, Сан-Диего; Zhengwei Ji, Jaqueline Hernandez-Lucas, Jared Baumgartner, Tao Song и Sharon Nichols из Медицинской школы Калифорнийского университета в Сан-Диего; Дьюлин Бейкер из Центра передового опыта штата Вирджиния по стрессу и психическому здоровью и Медицинской школы Калифорнийского университета в Сан-Диего; Имануэль Лерман из Калифорнийского университета в Сан-Диего, его Медицинской школы и Центра передового опыта штата Вирджиния в области стресса и психического здоровья; и Рамеш Рао (директор Qualcomm Institute), Туо Лин и Синь Минг Ту из Калифорнийского университета в Сан-Диего.