Потрясающие возможности из ЧатGPTчат-бот от стартапа OpenAI, вызвал всплеск нового интереса и инвестиций в искусственный интеллект. Но в конце прошлой недели генеральный директор OpenAI предупредил, что исследовательская стратегия, которая породила бота, исчерпана. Неясно, откуда именно будут поступать будущие достижения.
OpenAI в последние годы добилась ряда впечатляющих достижений в области ИИ, который работает с языком, взяв существующие алгоритмы машинного обучения и увеличив их до ранее невообразимых размеров. GPT-4, последний из этих проектов, вероятно, был обучен с использованием триллионов слов текста и многих тысяч мощных компьютерных чипов. Процесс стоил более 100 миллионов долларов.
Но генеральный директор компании Сэм Альтман говорит, что дальнейший прогресс не будет достигнут за счет увеличения размеров моделей. «Я думаю, что мы находимся в конце эпохи, когда будут такие гигантские, гигантские модели», — сказал он аудитории на мероприятии, состоявшемся в Массачусетском технологическом институте в конце прошлой недели. «Мы сделаем их лучше другими способами».
Заявление Альтмана предполагает неожиданный поворот в гонке за разработку и развертывание новых алгоритмов ИИ. С тех пор как OpenAI запустил ChatGPT в ноябре, Microsoft использовала базовую технологию для добавить чат-бота в свою поисковую систему Bingи Google запустил конкурирующего чат-бота под названием Bard.. Многие люди бросились экспериментировать с использованием нового поколения чат-ботов, чтобы помочь с работой или личными задачами.
Между тем, многочисленные хорошо финансируемые стартапы, в том числе антропный, АИ21, Сплоченностьи Персонаж.AI, вкладывают огромные ресурсы в создание все более крупных алгоритмов, чтобы догнать технологию OpenAI. Первоначальная версия ChatGPT была основана на слегка обновленной версии GPT-3, но теперь пользователи также могут получить доступ к версии, основанной на более мощном GPT-4.
Заявление Альтмана предполагает, что GPT-4 может стать последним крупным достижением, вытекающим из стратегии OpenAI, направленной на увеличение размеров моделей и предоставление им большего количества данных. Он не сказал, какие исследовательские стратегии или методы могли бы занять его место. в статья с описанием ГПТ-4, OpenAI говорит, что его оценки предполагают снижение отдачи от увеличения размера модели. Альтман сказал, что существуют также физические пределы того, сколько центров обработки данных может построить компания и как быстро она может их построить.
Ник Фросс, соучредитель Cohere, ранее работавший над искусственным интеллектом в Google, говорит, что мнение Альтмана о том, что увеличение масштабов не будет работать бесконечно, звучит правдоподобно. Он тоже считает, что прогресс в области трансформеров, модели машинного обучения, лежащей в основе GPT-4 и ее конкурентов, не может быть масштабирован. «Существует множество способов сделать трансформаторы намного лучше и полезнее, и многие из них не требуют добавления параметров в модель», — говорит он. Фросс говорит, что новые конструкции или архитектуры моделей ИИ, а также дальнейшая настройка на основе отзывов людей — это многообещающие направления, которые уже изучают многие исследователи.
Каждая версия влиятельного семейства языковых алгоритмов OpenAI состоит из искусственной нейронной сети, программного обеспечения, основанного на том, как нейроны работают вместе, которое обучено предсказывать слова, которые должны следовать за заданной строкой текста.
