Исследование показало, что модели искусственного интеллекта спотыкаются о базовом умножении без специальных методов обучения

В наши дни большие языковые модели могут решать все более сложные задачи, писать сложный код и проводить сложные рассуждения. Но когда дело доходит до четырехзначного умножения (задачи, которую преподают в начальной школе), даже самые современные системы терпят неудачу. Почему?

А новая бумага опубликовано в arXiv сервер препринтов, доктор компьютерных наук Чикагского университета. Студент Сяоянь Бай и содиректор факультета Инициативы по исследованию нового интеллекта Института науки о данных Чэньхао Тан находят ответы посредством обратного проектирования, неудач и успехов.

Они работали с сотрудниками из Массачусетского технологического института, Гарвардского университета, Университета Ватерлоо и Google DeepMind, чтобы исследовать возможности ИИ.неровная граница«— термин, обозначающий его способность преуспевать в сложных рассуждениях, но натыкаться на, казалось бы, простые задачи.

Как вы, возможно, помните (или забыли), умножение больших чисел требует переноса цифр и мысленного «удержания» частичных произведений, чтобы вы могли сложить их и получить окончательную сумму. Процессы, требующие хранения информации для последующего использования таким образом, называются «дальнодействующими зависимостями».

Стандартные модели большого языка работают, обучаясь распознавать закономерности в данных, на которых они обучаются. Но чем сложнее становится проблема, тем меньше вероятность того, что модель увидит ее конкретно. Так как же научить модель не просто запоминать ответы, но и изучать процесс?

Почему стандартное обучение не дает результатов

Модели часто обучаются новым задачам с помощью процесса, известного как стандартная точная настройка, который основан на увеличении масштаба обучающих данных или добавлении дополнительных шагов или «слоев».

Но даже когда исследовательская группа протестировала модели с двумя слоями и вплоть до 12, все они достигли точности менее 1% при умножении двух четырехзначных чисел. Стандартные подходы явно терпели неудачу, и исследователи хотели понять, почему.

Они обнаружили, что при стандартном подходе модели сходятся к «локальному оптимуму» или к тому, что они считают лучшим решением в каждом наборе данных. Но такие задачи, как многозначное умножение, требуют, чтобы модель могла запоминать предыдущие вычисления и производить последующие цифры.

Без архитектуры, способной хранить и извлекать промежуточную информацию, модель застревает, не имея возможности выйти за пределы локального оптимума — независимо от того, как долго она обучается или насколько масштабируется.

Затем исследователи определили модель, обученную с использованием другого метода: неявной цепочки мыслей (ICoT).

Там, где стандартная точная настройка обеспечивала точность менее 1%, модель ICoT смогла достичь точности 100%. Чтобы понять, в чем особенность этого подхода, команда разобрала оба подхода и выявила некоторые фундаментальные идеи.

Во-первых, они увидели, что модель ICoT учится запоминать то, что важно.

В отличие от стандартной модели тонкой настройки, модель ICoT научилась отслеживать долгосрочные зависимости или информацию, которую она постепенно собирает для решения проблемы. Команда проверила это, проверив, могут ли они декодировать промежуточные значения, такие как текущие суммы, из внутренних состояний моделей. В модели ICoT они могли это сделать, но в стандартной модели — нет.

Метод ICoT постепенно удаляет промежуточные этапы рассуждения во время обучения, в некотором смысле заставляя модель усваивать процесс рассуждения в его скрытых состояниях, а не полагаться на явные пошаговые маркеры.

Затем они увидели, что модель ICoT организует внимание по четким путям во времени.

Думайте об этом как о хорошо организованной системе хранения данных: на ранних уровнях модель вычисляет произведения пар цифр и сохраняет их в определенных местах. На более поздних уровнях он извлекает именно те значения, которые необходимы для расчета каждой цифры окончательного ответа. В результате получается эффективная внутренняя структура для выполнения умножения, которая никогда не появляется в стандартной модели.

Наконец, что, возможно, наиболее примечательно, исследователи обнаружили, что модель ICoT внутренне представляет эти операции с помощью элегантных структур. Вместо того, чтобы рассматривать цифры только как символы, модель кодирует их в виде волнообразных шаблонов, известных как основания Фурье, и организует арифметику визуальным, пространственным способом.

При умножении пар цифр модель использует естественную геометрическую операцию, называемую суммой Минковского — то, что исследователи не программировали, а скорее возникло естественным образом во время обучения модели ICoT. Это как если бы успешная модель создала свой собственный эффективный математический язык для арифметики.

Простое решение

Исследователи пришли к выводу, что если стандартные модели точной настройки терпят неудачу из-за отсутствия правильного встроенного руководства, то предоставление правильного обучающего сигнала должно это исправить. Чтобы проверить это, команда представила простое решение: добавленную цель обучения, которая учит модель отслеживать текущие суммы на каждом этапе, позволяя ей переносить промежуточные значения и частичные продукты вперед.

Оказалось, что добавление этого единственного дополнения к двухслойной модели, которое полностью провалилось при стандартном обучении, помогло. Результат: точность 99 % без явного контроля цепочки мыслей.

Когда исследователи изучили структуру внимания модели, они обнаружили, что она обучила механизмы, аналогичные ICoT — структурам, которые сохраняют и извлекают частичные продукты по мере необходимости. Модель также разработала дополнительные стратегии, в том числе способ одновременного отслеживания нескольких пар цифр.

Новый интеллект

Хотя умножение может показаться особой задачей, полученные результаты проливают свет на фундаментальные аспекты того, как большие языковые модели учатся и «думают».

Проблема долгосрочных зависимостей не является уникальной для арифметики — она возникает при языковом моделировании и других последовательных задачах. Подход команды Университета Чикаго задает фундаментальные вопросы о различиях между запоминанием и обучением, а также о том, какие архитектурные ограничения помогают или мешают работе моделей.

«Поскольку ИИ все больше интегрируется в процесс принятия важных решений, важно понимать его уникальные способы обучения и мышления», — сказал Тан. «Наше исследование пытается нанести на карту эту местность».

Ключевой вклад этой статьи: архитектурные идеи и методы обучения могут преодолеть препятствия, которые невозможно решить одним только масштабированием. Правильное встроенное руководство, а не просто большее количество параметров или данных, является ключом к развитию возможностей ИИ.

Хотя решение проблемы умножения зависит от конкретной задачи, исследователи ожидают, что в будущей работе будут разработаны более общие подходы для улучшения обучения при выполнении задач, требующих моделей для отслеживания информации на многих этапах.