Случай, о котором думает ИИ

Книга Канервы исчезла из поля зрения, а собственная звезда Хофштадтера померкла — за исключением тех случаев, когда он время от времени высовывал голову, чтобы раскритиковать новую систему искусственного интеллекта. В 2018 году он писал о Google Translate и подобных технологиях: «В этом подходе все еще чего-то сильно не хватает, что можно выразить одним словом: понимание». Но GPT-4, выпущенный в 2023 году, стал для Хофштадтера моментом конверсии. «Меня ошеломляют некоторые вещи, которые делают системы», — сказал он мне недавно. «Это было бы немыслимо даже всего десять лет назад». Самый стойкий дефляционист больше не мог дефлятировать. Это была программа, которая умела переводить не хуже эксперта, проводить аналогии, импровизировать, обобщать. Кто мы такие, чтобы говорить, что оно не понимает? «Они делают вещи, очень похожие на мышление», — сказал он. «Можно сказать, что они являются мышление, просто несколько чуждым образом».

Похоже, что в основе программ LLM лежит машина «видения как». Они представляют каждое слово серией чисел, обозначающих его координаты — его вектор — в многомерном пространстве. В GPT-4 вектор слова имеет тысячи измерений, которые описывают его оттенки сходства и отличия от любого другого слова. Во время обучения большая языковая модель корректирует координаты слова всякий раз, когда совершает ошибку прогнозирования; слова, которые встречаются в текстах вместе, смещаются ближе в пространстве. Это создает невероятно плотное представление обычаев и значений, в котором аналогия становится вопросом геометрии. В классическом примере, если вы возьмете вектор слова «Париж», вычтете «Францию», а затем добавите «Италию», ближайшим другим вектором будет «Рим». LLM могут «векторизировать» изображение, кодируя его содержание, его настроение и даже выражения лиц людей с достаточной детализацией, чтобы перерисовать его в определенном стиле или написать о нем абзац. Когда Макс попросил ChatGPT помочь ему с разбрызгивателем в парке, модель не просто выдавала текст. Фотография водопровода была сжата вместе с подсказкой Макса в вектор, отражающий его наиболее важные особенности. Этот вектор служил адресом для вызова близлежащих слов и понятий. Эти идеи, в свою очередь, вызвали появление других, поскольку модель создавала ощущение ситуации. Он составил свой ответ, «имя в виду» эти идеи.

Несколько месяцев назад я читал интервью с исследователем Anthropic Трентоном Брикеном, который вместе с коллегами работал над исследованием внутренностей Claude, серии моделей искусственного интеллекта компании. (Их исследования не рецензировались и не публиковались в научных журналах.) Его команда выявила ансамбли искусственных нейронов или «функций», которые активируются, когда Клод собирается сказать то или иное. Функции оказываются подобны ручкам громкости для концепций; включите их, и модель больше ни о чем не будет говорить. (В своего рода эксперименте по контролю над мышлением была включена функция, изображающая мост Золотые Ворота; когда один пользователь попросил у Клода рецепт шоколадного торта, предложенные ингредиенты включали «1/4 стакана сухого тумана» и «1 стакан теплой морской воды».) В интервью Брикен упомянул архитектуру Google Transformer — рецепт построения нейронных сетей, лежащих в основе ведущих моделей искусственного интеллекта. («Т» в ChatGPT означает «Трансформатор».) Он утверждал, что математика, лежащая в основе архитектуры Трансформера, очень похожа на модель, предложенную десятилетиями ранее — Пентти Канервой в «Разреженной распределенной памяти».

Стоит ли удивляться совпадению между ИИ и нашим собственным мозгом? В конце концов, LLM — это искусственные нейронные сети, в разработке которых участвовали психологи и нейробиологи. Еще более удивительно то, что когда модели практиковали что-то механически — предугадывание слов — они начинали вести себя подобно мозгу. В наши дни области нейробиологии и искусственного интеллекта переплетаются; эксперты по мозгу используют ИИ как своего рода модельный организм. Эвелина Федоренко, нейробиолог из Массачусетского технологического института, использовала степень магистра права для изучения того, как мозг обрабатывает речь. «Я никогда не думала, что смогу думать о таких вещах в своей жизни», — сказала она мне. «Я никогда не думал, что у нас будут достаточно хорошие модели».

Стало банальным говорить, что ИИ — это черный ящик, но, возможно, верно и обратное: ученый может исследовать активность отдельных искусственных нейронов и даже изменять их. «Наличие работающей системы, реализующей теорию человеческого интеллекта, — это мечта когнитивной нейробиологии», — сказал мне Кеннет Норман, нейробиолог из Принстона. Норман создал компьютерные модели гиппокампа, области мозга, где хранятся эпизодические воспоминания, но в прошлом они были настолько простыми, что он мог передать им лишь грубые приближения того, что может проникнуть в человеческий разум. «Теперь вы можете давать моделям памяти те же самые стимулы, которые вы даете человеку», — сказал он.