Модели искусственного интеллекта начинают учиться, задавая себе вопросы

Даже самый умный искусственный интеллект модели по сути являются подражателями. Они учатся либо на примерах человеческой работы, либо пытаясь решить проблемы, поставленные перед ними людьми-инструкторами.

Но, возможно, ИИ на самом деле сможет учиться более человечно — задавая себе интересные вопросы и пытаясь найти правильный ответ. Проект от Университет Цинхуа, Пекинский институт общего искусственного интеллекта (BIGAI) и Университет штата Пенсильвания показывают, что ИИ может научиться рассуждать подобным образом, играя с компьютерным кодом.

Исследователи разработали систему под названием Абсолютный нулевой разум (AZR), который впервые использует большую языковую модель для создания сложных, но решаемых проблем программирования на Python. Затем он использует ту же модель для решения этих проблем, прежде чем проверять свою работу, пытаясь запустить код. И, наконец, система AZR использует успехи и неудачи как сигнал для усовершенствования исходной модели, увеличивая ее способность как ставить более качественные проблемы, так и решать их.

Команда обнаружила, что их подход значительно улучшил навыки кодирования и рассуждения как в версиях с 7 миллиардами, так и с 14 миллиардами параметров. языковая модель с открытым исходным кодом Qwen. Впечатляет, что модель даже превзошла некоторые модели, получившие данные, собранные человеком.

Я говорил с Эндрю Чжаоаспирант Университета Цинхуа, который придумал оригинальную идею «Абсолютного нуля», а также Цзилун Чжэнисследователь из BIGAI, который работал с ним над проектом через Zoom.

Чжао сказал мне, что этот подход похож на то, как человеческое обучение выходит за рамки механического запоминания или подражания. «Вначале вы подражаете своим родителям и любите своих учителей, но затем вам, по сути, приходится задавать свои собственные вопросы», — сказал он. «И со временем ты сможешь превзойти тех, кто учил тебя еще в школе».

Чжао и Чжэн отметили, что идея обучения ИИ таким способом, иногда называемым «самостоятельной игрой», возникла много лет назад и ранее исследовалась такими людьми, как Юрген Шмидхуберизвестный пионер искусственного интеллекта, и Пьер-Ив Удейерученый-компьютерщик из Inria во Франции.

По словам Чжэна, одним из наиболее интересных элементов проекта является то, как масштабируются навыки модели в постановке и решении проблем. «Уровень сложности растет по мере того, как модель становится более мощной», — говорит он.

Основная проблема заключается в том, что на данный момент система работает только с задачами, которые можно легко проверить, например, с задачами, связанными с математикой или программированием. По мере развития проекта его можно будет использовать для задач агентного ИИ, таких как просмотр веб-страниц или выполнение офисных дел. Это может включать в себя попытку модели ИИ оценить правильность действий агента.

Одна из интересных возможностей такого подхода, как «Абсолютный ноль», заключается в том, что теоретически он может позволить моделям выйти за рамки человеческого обучения. «Как только мы это получим, это станет своего рода способом достичь сверхразума», — сказал мне Чжэн.

Есть первые признаки того, что подход «Абсолютный ноль» завоевывает популярность в некоторых крупных лабораториях искусственного интеллекта.

Проект под названием Агент0из Salesforce, Стэнфорда и Университета Северной Каролины в Чапел-Хилл, включает в себя агента, использующего программные инструменты, который совершенствует себя посредством самостоятельной игры. Как и в случае с «Абсолютным нулем», модель улучшает общие рассуждения посредством экспериментального решения проблем. А недавняя статья написанная исследователями из Меты, Университета Иллинойса и Университета Карнеги-Меллона, представляет систему, которая использует аналогичный вид самостоятельной игры для разработки программного обеспечения. Авторы этой работы предполагают, что она представляет собой «первый шаг к парадигмам обучения сверхинтеллектуальных программных агентов».

Поиск новых способов обучения ИИ, вероятно, станет важной темой в технологической отрасли в этом году. Поскольку традиционные источники данных становятся все более дефицитными и дорогими, а лаборатории ищут новые способы сделать модели более эффективными, такой проект, как «Абсолютный ноль», может привести к созданию систем искусственного интеллекта, которые будут меньше похожи на подражателей и больше похожи на людей.