LLM могут соответствовать восприятию человеческого мозга в повседневных сценах

Когда мы смотрим на мир, наш мозг не просто распознает такие объекты, как «собака» или «автомобиль», он также понимает более широкое значение, например, что происходит, где это происходит, и как все соединяется вместе. Но в течение многих лет ученые не имели хорошего способа измерить это богатое, сложное понимание.

Теперь в Новое исследование опубликовано сегодня в Интеллект природыUniversité de Montréal Assoctaint of Psychology Ian Charest объясняет, как он и коллеги из Университета Миннесоты и Германии Университет Оснабрук и Фрейни университет Берлин использовали Большие языковые модели (LLMS), чтобы выяснить это.

«Впитывая описания естественной сцены в эти LLMS-тот же вид искусственного интеллекта, стоящего за такими инструментами, как Chatgpt,-мы создали своего рода« языковой отпечаток »о том, что означает сцена»,-сказал Чарест, владелец института MILA AI.

«Примечательно, – сказал он, – эти отпечатки пальцев близко совпадают Модели активности мозга Записанный, в то время как люди смотрели на одни и те же сцены в МРТ -сканере, «такие вещи, как группа детей, играющих или большой горизонт города.

«Например, – сказал Чарест, – используя LLMS, мы можем декодировать в предложении визуальную сцену, которую человек только что воспринимал. Мы также можем точно предсказать, как мозг будет реагировать на сцены продуктов питания, мест или сцен, включая человеческие лица, используя представления, кодируемые в LLM».

Исследователи пошли еще дальше: они обучали искусственные нейронные сети для получения изображений и предсказывать эти отпечатки пальцев LLM, и обнаружили, что эти сети лучше работали над ответами на мозг, чем многие из самых передовых моделей AI Vision, доступных сегодня.

И это, несмотря на то, что эти доступные модели были обучены гораздо меньше данных.

Концепция этих “Искусственные нейронные сети«Был поддержан профессором машинного обучения Тим Китцманн и его командой в Университете Оснабрюка. Первым автором исследования является профессор Адриен Дориг из Фри-Университет Берлин.

«То, что мы узнали, предполагает, что человеческий мозг может представлять сложные визуальные сцены так, как удивительно похожи на то, как современные языковые модели понимают текст», – сказал Чарест, который продолжает свое исследование по этому вопросу.

“Наше исследование открывает новые возможности для декодирования мыслей, улучшения Благословные интерфейсыи создание более умных систем ИИ, которые «видим» больше, как мы, люди. Мы могли бы когда-нибудь представить себе лучшие вычислительные модели зрения, поддерживая лучшие решения для автомобилей с самостоятельным вождением.

«Эти новые технологии могут также однажды помочь разработать визуальные протезы для людей со значительными нарушениями зрения. Но в конечном итоге это шаг вперед в понимании того, как человеческий мозг понимает смысл из визуального мира».