Новые возможности больших языковых моделей — это мираж

Оригинальная версия из эта история появился в Журнал Кванта.

Два года назад в проекте под названием За пределами теста «Имитационная игра»или BIG-bench, 450 исследователей составили список из 204 задач, предназначенных для проверки возможностей большие языковые модели, который поддерживает чат-ботов, таких как ChatGPT. В большинстве задач производительность увеличивалась предсказуемо и плавно по мере масштабирования модели — чем больше модель, тем лучше она становилась. Но с другими задачами скачок способностей не был плавным. Производительность какое-то время оставалась около нуля, затем производительность подскочила. Другие исследования обнаружили аналогичные скачки в способностях.

Авторы описали это как «прорывное» поведение; другие исследователи сравнили это с фазовым переходом в физике, например, когда жидкая вода замерзает в лед. В бумага опубликованном в августе 2022 года, исследователи отметили, что такое поведение не только удивительно, но и непредсказуемо, и что оно должно стать основой для развивающихся дискуссий вокруг ИИ. безопасность, потенциал и риск. Они назвали способности «возникающий», слово, которое описывает коллективное поведение, которое проявляется только тогда, когда система достигает высокого уровня сложности.

Но все может быть не так просто. Новая статья трио исследователей из Стэнфордского университета утверждает, что внезапное появление этих способностей является всего лишь следствием того, как исследователи оценивают эффективность LLM. Способности, утверждают они, не являются ни непредсказуемыми, ни внезапными. «Переход гораздо более предсказуем, чем люди думают», — сказал он. Санми Коё, ученый-компьютерщик из Стэнфорда и старший автор статьи. «Серьезные заявления об эмерджентности связаны как с тем, как мы выбираем измерения, так и с тем, что делают модели».

Мы только сейчас видим и изучаем такое поведение из-за того, насколько большими стали эти модели. Большие языковые модели обучаются путем анализа огромных наборы данных текста— слова из онлайн-источников, включая книги, веб-поиски и Википедию, — и находить связи между словами, которые часто встречаются вместе. Размер измеряется в параметрах, примерно аналогичных всем способам соединения слов. Чем больше параметров, тем больше связей может найти LLM. GPT-2 имел 1,5 миллиарда параметров, а GPT-3.5, LLM, лежащий в основе ChatGPT, использует 350 миллиардов. GPT-4, дебютировавшая в марте 2023 года и теперь лежащая в основе Microsoft второй пилотпо сообщениям, использует 1,75 трлн.

Этот быстрый рост привел к поразительному росту производительности и эффективности, и никто не оспаривает, что достаточно крупные LLM могут выполнять задачи, которые не под силу более мелким моделям, в том числе те, для выполнения которых они не были обучены. Трио в Стэнфорде, которые называют появление «миражом», признают, что программы LLM становятся более эффективными по мере их расширения; фактически, дополнительная сложность Создание более крупных моделей должно позволить лучше справляться с более сложными и разнообразными задачами. Но они утверждают, что то, выглядит ли это улучшение плавным и предсказуемым или резким и резким, зависит от выбора метрики или даже от недостатка тестовых примеров, а не от внутренней работы модели.