Скромные выгоды GPT-5 предполагают, что прогресс AI замедляется

Последний шаг вперед ИИ не столько гигантский скачок, сколько предварительный перерыв. OpenAI выпустила свою новейшую модель искусственного интеллекта, GPT-5через два года после развертывания GPT-4чей успех привели к тому, что ЧАТГПТ к мировому господству. Но, несмотря на обещания аналогичного скачка в способности, GPT-5, по-видимому, показывает мало улучшений по сравнению с другими ведущими моделями ИИ, намекая на то, что отрасли может потребоваться новый подход для создания более интеллектуальных систем ИИ.

Собственные заявления Openai приветствуют GPT-5 как «значительный скачок в интеллекте» из предыдущих моделей компании, демонстрируя очевидные улучшения в программировании, математике, письменности, информации о здравоохранении и визуальном понимании. Он также обещает менее частые галлюцинации, которые являются тогда, когда ИИ представляет ложную информацию как правду. На внутреннем эталонном эталоне «Производительность на сложной, экономически ценной работе по знаниям», Openai говорит, что GPT -5 «сопоставим или лучше, чем эксперты примерно в половине случаев… по задачам, охватывающим более 40 профессий, включая право, логистику, продажи и инженерию».

Тем не менее, производительность GPT-5 по общедоступным критериям не значительно лучше, чем ведущие модели других компаний искусственного интеллекта, таких как Anpropic Claude или Google Gemini. Это улучшилось на GPT-4, но разница для многих критериев меньше, чем скачок от GPT-3 на GPT-4. Многие клиенты CHATGPT также был не впечатленс примерами того, как GPT-5 не отвечает, казалось бы, простые запросы, получающие широкое внимание в социальных сетях.

«Многие люди надеялись, что будет прорыв, и это не прорыв», – говорит Мирелла Лапата в Эдинбургском университете, Великобритания. «Это обновление, и оно кажется постепенным».

Наиболее полные меры производительности GPT-5 поступают от самого OpenAI, поскольку только он имеет полный доступ к модели. Несколько подробностей о внутреннем эталонном этаже были обнародованы, говорит Анна Роджерс в ИТ -университете Копенгаген в Дании. «Следовательно, это не то, что можно серьезно обсудить как научное утверждение».

На брифинге для прессы перед запуском модели Альтман утверждал, что «GPT-5-это первый раз, когда это действительно похоже на разговор с экспертом в любой теме, например, эксперт по уровню доктора философии». Но это не поддерживается критериями, говорит Роджерс, и неясно, как докторская степень связана с разведкой в целом. «Очень умные люди не обязательно имеют степень доктора философии, и такая степень не обязательно гарантирует высокий интеллект», – говорит Роджерс.

Очевидно, скромные улучшения GPT-5 могут быть признаком более широких трудностей для разработчиков ИИ. До недавнего времени считалось, что такие крупные языковые модели (LLMS) становятся все более способными с большим количеством учебных данных и компьютерной мощности. Похоже, это больше не подтверждается результатами последних моделей, и компании не смогли найти лучше Проектирование системы ИИS, чем те, которые питали CHATGPT. «У каждого сейчас один и тот же рецепт, и мы знаем, что это за рецепт»,-говорит Lapata, ссылаясь на процесс моделей предварительного обучения с большим количеством данных, а затем внося корректировки с процессами после тренировки.

Тем не менее, трудно сказать, насколько близко к стагнации, потому что мы не знаем точно, как разработаны модели, такие как GPT-5, говорит Никос Алетрас в Университете Шеффилда, Великобритания. «Попытка сделать обобщения о [whether] Большие языковые модели попали в стену могут быть преждевременными. Мы не можем действительно сделать эти претензии без какой -либо информации о технических деталях ».

OpenAI работает над другими способами сделать свой продукт более эффективным, например, новая система маршрутизации GPT-5. В отличие от предыдущих экземпляров CHATGPT, где люди могут выбирать, какую модель ИИ использовать, GPT-5 теперь сканирует запросы и направляет их в конкретную модель, которая будет использовать соответствующее количество вычислительной мощности.

Этот подход может быть принят более широко, говорит Лапата. «Модели рассуждений используют много [computation]и это требует времени и денег, – говорит он. – Если вы сможете ответить на нее меньшей моделью, мы увидим больше этого в будущем ». Но этот шаг разозлил некоторых клиентов CHATGPT, побуждая Альтмана сказать Компания смотрит при улучшении процесса маршрутизации.

Существует более позитивные признаки для будущего ИИ в отдельной модели Openai, которая в прошлом месяце достигла баллов золотой медали на соревнованиях по элитным математическим и кодированию, что ведущие модели ИИ не могли сделать год назад. В то время как подробности того, как работают модели, снова скудны, Сотрудники Openai сказал, что его успех предполагает, что у системы есть более общие возможности рассуждения.

Эти соревнования полезны для тестирования моделей на данные, которые они не видели во время обучения, говорит Алетрас, но они все еще являются узкими тестами интеллекта. По словам Lapata, повышение производительности модели в одной области также может усугубить ее для других, говорит Lapata, что может быть трудно отслеживать.

Одна область, где GPT-5 значительно улучшился это ценакоторый сейчас намного дешевле, чем другие модели – например, лучшая модель Claude Antropic стоит примерно в 10 раз больше обрабатывать такое же количество запросов на момент написания. Но это может представлять свои собственные проблемы в долгосрочной перспективе, если доход Openai не покрывает обширные затраты, которые они совершили при строительстве и заведении новых центров обработки данных. «Цены безумны. Это так дешево, что я не знаю, как они могут себе это позволить», – говорит Лапата.

Конкуренция между лучшими моделями ИИ является жесткой, особенно с ожиданием того, что первая модель, которая вытянет впереди других, займет большую часть рынка. «Все эти крупные компании, они пытаются стать единственным победителем, и это сложно», – говорит Лапата. «Ты победитель в течение трех месяцев».