ИИ становится лучше в чтении мыслей

Подумайте о словах, крутящихся у вас в голове: о той безвкусной шутке, которую вы мудро промолчали за обедом; ваше невысказанное впечатление о новом партнере вашего лучшего друга. А теперь представьте, что кто-то может вас подслушать.

В понедельник ученые из Техасского университета в Остине сделали еще один шаг в этом направлении. В исследовании, опубликованном в журнале Nature Neuroscienceисследователи описали ИИ, который мог бы переводить личные мысли людей, анализируя снимки фМРТ, которые измеряют приток крови к различным областям мозга.

Исследователи уже разработали методы языкового декодирования для забрать попытку речи людей, потерявших способность говорить, и позволить парализованные люди, чтобы писать пока думаю написать. Но новый языковой декодер — один из первых, не полагающихся на имплантаты. В исследовании он смог превратить воображаемую речь человека в реальную речь, а когда испытуемым показывали немые фильмы, он мог генерировать относительно точные описания того, что происходило на экране.

«Это не просто языковой стимул», — сказал Александр Хут, нейробиолог из университета, который помог провести исследование. «Мы добираемся до смысла, что-то об идее того, что происходит. И тот факт, что это возможно, очень вдохновляет».

Исследование было сосредоточено на трех участниках, которые приходили в лабораторию доктора Хута на 16 часов в течение нескольких дней, чтобы послушать «Мотылек» и другие описательные подкасты. Пока они слушали, сканер фМРТ зафиксировал уровни оксигенации крови в частях их мозга. Затем исследователи использовали большую языковую модель, чтобы сопоставить паттерны активности мозга со словами и фразами, которые слышали участники.

Большие языковые модели, такие как GPT-4 от OpenAI и Bard от Google, обучаются на большом количестве текстов, чтобы предсказать следующее слово в предложении или фразе. В процессе модели создают карты, показывающие, как слова соотносятся друг с другом. Несколько лет назад доктор Хут заметил что отдельные фрагменты этих карт — так называемые контекстные встраивания, которые фиксируют семантические особенности или значения фраз — могут использоваться для предсказания того, как мозг активизируется в ответ на язык.

По словам Синдзи Нишимото, нейробиолога из Осакского университета, не участвовавшего в исследовании, «активность мозга — это своего рода зашифрованный сигнал, и языковые модели предоставляют способы его расшифровки».

В своем исследовании доктор Хут и его коллеги эффективно изменили процесс, используя другой ИИ для перевода изображений фМРТ участника в слова и фразы. Исследователи проверили декодер, предложив участникам прослушать новые записи, а затем посмотреть, насколько точно перевод соответствует фактической расшифровке.

Почти каждое слово в расшифрованном письме было не к месту, но смысл отрывка регулярно сохранялся. По сути, декодеры перефразировали.

Оригинал стенограммы: «Я встал с надувного матраса и прижался лицом к стеклу окна спальни, ожидая увидеть глаза, уставившиеся на меня, но вместо этого обнаружил только темноту».

Расшифровано по активности мозга: «Я просто продолжал подходить к окну и открывать стекло, я встал на цыпочки и выглянул, я ничего не увидел, и снова поднял глаза, я ничего не увидел».

Во время сканирования фМРТ участников также просили молча представить, что они рассказывают историю; после этого они повторили историю вслух для справки. И здесь модель декодирования уловила суть невысказанной версии.

Версия участника: «Ищите сообщение от моей жены о том, что она передумала и что она вернется».

Декодированная версия: «Чтобы увидеть ее, я почему-то думал, что она подойдет ко мне и скажет, что скучает по мне».

Наконец, испытуемые посмотрели короткий немой анимационный фильм, снова проходя фМРТ-сканирование. Анализируя активность их мозга, языковая модель могла расшифровать грубый синопсис того, что они просматривали — возможно, их внутреннее описание того, что они просматривали.

Результат предполагает, что декодер ИИ улавливал не только слова, но и смысл. «Языковое восприятие — это процесс, управляемый извне, а воображение — активный внутренний процесс», — сказал доктор Нисимото. «И авторы показали, что мозг использует общие представления для этих процессов».

Грета Такут, нейробиолог из Массачусетского технологического института, не участвовавшая в исследовании, сказала, что это «вопрос высокого уровня».

«Можем ли мы расшифровать смысл из мозга?» — продолжила она. «В некотором смысле они показывают, что да, мы можем».

Доктор Хут и его коллеги отметили, что этот метод декодирования языка имеет ограничения. Во-первых, сканеры фМРТ громоздкие и дорогие. Более того, обучение модели — это долгий и утомительный процесс, и для того, чтобы оно было эффективным, оно должно выполняться на отдельных людях. Когда исследователи попытались использовать декодер, обученный на одном человеке, для чтения активности мозга другого, это не удалось, предполагая, что у каждого мозга есть уникальные способы представления значения.

Участники также смогли экранировать свои внутренние монологи, сбрасывая декодер, думая о других вещах. ИИ может читать наши мысли, но пока ему придется читать их по одному и с нашего разрешения.