Одержимость масштабированием индустрии искусственного интеллекта приближается к обрыву

Новое исследование из Массачусетского технологического института предполагает, что самые большие и наиболее вычислительно интенсивные модели ИИ вскоре могут принести меньшую отдачу по сравнению с моделями меньшего размера. Сопоставляя законы масштабирования с постоянным повышением эффективности моделей, исследователи обнаружили, что добиться скачка производительности гигантских моделей может стать труднее, тогда как повышение эффективности может сделать модели, работающие на более скромном оборудовании, более функциональными в течение следующего десятилетия.

«В ближайшие пять-десять лет ситуация, скорее всего, начнет сужаться», — говорит Нил Томпсон, ученый-компьютерщик и профессор Массачусетского технологического института, участвовавший в исследовании.

Скачки в эффективности, подобные тем, что наблюдаются с Удивительно дешевая модель DeepSeek в январе уже послужили проверкой реальности для индустрии искусственного интеллекта, которая привыкла сжигать огромные объемы вычислений.

В нынешнем виде передовая модель от такой компании, как OpenAI, в настоящее время намного лучше, чем модель, обученная с использованием части вычислений в академической лаборатории. Хотя прогноз команды MIT может не сбыться, если, например, новые методы обучения, такие как обучение с подкреплением, дадут удивительные новые результаты, они предполагают, что крупные компании, занимающиеся искусственным интеллектом, будут иметь меньше преимуществ в будущем.

Ханс Гундлах, научный сотрудник Массачусетского технологического института, который руководил анализом, заинтересовался этой проблемой из-за громоздкости работы с передовыми моделями. Вместе с Томпсоном и Джейсоном Линчем, еще одним ученым из Массачусетского технологического института, он наметил будущую производительность передовых моделей по сравнению с моделями, построенными с использованием более скромных вычислительных средств. Гундлах говорит, что предсказанная тенденция особенно выражена для модных сейчас моделей рассуждения, которые больше полагаются на дополнительные вычисления во время вывода.

Томпсон говорит, что результаты показывают ценность совершенствования алгоритма, а также масштабирования вычислений. «Если вы тратите много денег на обучение этих моделей, то вам обязательно следует потратить часть их на разработку более эффективных алгоритмов, потому что это может иметь огромное значение», — добавляет он.

Исследование особенно интересно, учитывая сегодняшний бум инфраструктуры искусственного интеллекта (или лучше сказать «пузырь»?), который не имеет никаких признаков замедления.

OpenAI и другие технологические компании США подписали сделки на сто миллиардов долларов для создания инфраструктуры искусственного интеллекта в США. «Миру нужно гораздо больше вычислений», — заявил президент OpenAI Грег Брокман. объявлено на этой неделе когда он объявил о партнерстве между OpenAI и Broadcom в области создания специализированных чипов искусственного интеллекта.

Все большее число экспертов ставят под сомнение обоснованность этих сделок. Грубо 60 процентов Часть затрат на строительство центра обработки данных уходит на графические процессоры, которые имеют тенденцию быстро обесцениваться. Также появляются партнерства между крупными игроками. круглый и непрозрачный.