Техника «Mind-caption» может читать мысли человека по сканам мозга

Чтение активности мозга с помощью передовых технологий — не новая концепция. Однако большинство методов сосредоточены на идентификации отдельных слов, связанных с объектом или действием, который человек видит или о котором думает, или на сопоставлении сигналов мозга, соответствующих произнесенным словам. Некоторые методы использовали базы данных подписей или глубокие нейронные сети, но эти подходы были ограничены охватом слов базы данных или вводили информацию, отсутствующую в мозгу. Создание подробных, структурированных описаний сложных визуальных восприятий или мыслей остается сложной задачей.

Исследование, недавно опубликовано в Достижения наукииспользует новый подход. Исследователи, участвовавшие в исследовании, разработали то, что они называют методом «мысленных субтитров», который использует итеративный процесс оптимизации, при котором модель языка в масках (MLM) генерирует текстовые описания путем сопоставления текстовых функций с функциями, декодированными мозгом.

Этот метод также включает в себя линейные модели, обученные декодировать семантические особенности глубокой языковой модели с использованием мозговая деятельность с помощью функциональной магнитно-резонансной томографии (фМРТ). Результатом является подробное текстовое описание того, что участник видит в своем мозгу.

Создание титров к видео на основе человеческого восприятия

В первой части эксперимента шесть человек просмотрели 2196 коротких видеороликов, пока их мозговая активность сканировалась с помощью фМРТ. В видеороликах были показаны различные случайные объекты, сцены, действия и события, причем шесть субъектов были носителями японского языка и не носителями английского языка.

Те же видео ранее подвергались своего рода краудсорсинговым текстовым субтитрам другими зрителями, которые обрабатывались предварительно обученным LM, называемым DeBERTa-large, который извлекал определенные особенности. Эти функции были сопоставлены с активностью мозга, а текст генерировался посредством итерационного процесса модели MLM, называемого RoBERTa-large.

«Изначально описания были фрагментарными и не имели четкого смысла. Однако в результате итеративной оптимизации эти описания естественным образом превратились в последовательную структуру и эффективно отражали ключевые аспекты просматриваемых видео. Примечательно, что полученные описания точно отражали содержание, включая динамические изменения в просматриваемых событиях. Более того, даже когда конкретные объекты не были правильно идентифицированы, описания все равно успешно передавали наличие взаимодействий между несколькими объектами», – объясняют авторы исследования.

Затем команда сравнила сгенерированные описания с правильными и неправильными подписями у различного количества кандидатов, чтобы определить точность, которая, по их словам, составляла около 50%. Они отмечают, что этот уровень точности превосходит другие текущие подходы и обещает дальнейшее улучшение.

Чтение воспоминаний

Позже тех же шести участников попросили вспомнить видео под фМРТ, чтобы проверить способность метода считывать воспоминания, а не зрительный опыт. Результаты этой части эксперимента также оказались многообещающими.

«В результате анализа были получены описания, которые точно отражали содержание вспомненных видео, хотя точность была разной у разных людей. Эти описания были больше похожи на титры вспомненных видео, чем на нерелевантные, при этом опытные испытуемые достигли почти 40% точности в идентификации вспомненных видео от 100 кандидатов», — пишут авторы исследования.

Для людей, у которых снижена или утрачена способность говорить, например, перенесших инсульт, эта новая технология может в конечном итоге послужить способом восстановить общение. Тот факт, что система доказала свою способность улавливать более глубокие значения и отношения, а не простые словесные ассоциации, может позволить этим людям восстановить гораздо больше своих коммуникативных способностей, чем некоторые другие методы интерфейса мозг-компьютер. Тем не менее, прежде чем дойти до этой точки, необходима дальнейшая оптимизация.

Этические соображения и будущие направления

Несмотря на некоторые из наиболее положительных применений устройств для записи мыслей, способных читать человеческие мысли, безусловно, существуют законные опасения по поводу конфиденциальности и потенциального злоупотребления технологией преобразования мозга в текст.

Исследователи, участвовавшие в исследовании, отмечают, что согласие останется основным этическим фактором при использовании методов чтения мыслей. Прежде чем более широкое использование этих технологий станет обычным явлением, необходимо решить важные вопросы о ментальной конфиденциальности и будущем интерфейсов «мозг-компьютер».

Тем не менее, исследование предлагает новый инструмент для научных исследований того, как мозг представляет сложные переживания, и является потенциальным благом для невербальных людей.

Авторы исследования пишут: «Вместе наш подход сочетает в себе интерпретируемость, обобщаемость и производительность, создавая прозрачную основу для декодирования невербальной мысли в язык и прокладывая путь для систематического исследования того, как структурированная семантика кодируется в человеческом мозге».

© 2025 Сеть Science X