Почему бывший руководитель исследования искусственного интеллекта Cohere делает ставку против гонки масштабирования

Лаборатории искусственного интеллекта стремятся построить центры обработки данных размером с Манхэттен, каждый из них стоит миллиарды долларов и потребляет столько же энергии, сколько небольшой город. Эти усилия обусловлены глубокой верой в «масштабирование» — идею о том, что добавление большей вычислительной мощности к существующим методам обучения ИИ в конечном итоге приведет к созданию сверхразумных систем, способных выполнять все виды задач.

Но все больше исследователей ИИ говорят, что масштабирование больших языковых моделей, возможно, достигает своих пределов и что для улучшения производительности ИИ могут потребоваться другие прорывы.

Это ставка Сара Хукер, бывший вице-президент Cohere по исследованиям искусственного интеллекта и выпускница Google Brain, делает ставку на свой новый стартап. Адаптационные лаборатории. Она стала соучредителем компании вместе с коллегой по Cohere и ветераном Google Судипом Роем, и в ее основе лежит идея о том, что масштабирование LLM стало неэффективным способом добиться большей производительности от моделей искусственного интеллекта. Хукер, покинувший Cohere в августе, тихо объявил стартап в этом месяце начнет более широкий набор персонала.

В интервью > Хукер рассказал, что Adaption Labs создает системы искусственного интеллекта, которые могут постоянно адаптироваться и учиться на основе реального опыта, причем делают это чрезвычайно эффективно. Она отказалась поделиться подробностями о методах, лежащих в основе этого подхода, а также о том, полагается ли компания на LLM или другую архитектуру.

«Сейчас наступил поворотный момент, когда становится совершенно ясно, что формула простого масштабирования этих моделей — подходов, основанных на масштабировании, которые привлекательны, но чрезвычайно скучны — не привела к созданию интеллекта, способного ориентироваться в мире или взаимодействовать с ним», — сказал Хукер.

По словам Хукера, адаптация — это «сердце обучения». Например, ушибите палец ноги, проходя мимо обеденного стола, и в следующий раз вы научитесь обходить его более осторожно. Лаборатории ИИ попытались реализовать эту идею с помощью обучения с подкреплением (RL), которое позволяет моделям ИИ учиться на своих ошибках в контролируемых условиях. Однако сегодняшние методы RL не помогают моделям ИИ в производстве — то есть системам, которые уже используются клиентами — учиться на своих ошибках в режиме реального времени. Они просто продолжают колоть палец на ноге.

Некоторые лаборатории искусственного интеллекта предлагают консультационные услуги, чтобы помочь предприятиям точно настроить свои модели искусственного интеллекта в соответствии с их индивидуальными потребностями, но за это приходится платить. Сообщается, что OpenAI требует от клиентов потратить более 10 миллионов долларов с компанией предложить свои консультационные услуги по доводке.

«У нас есть несколько передовых лабораторий, которые определяют этот набор моделей ИИ, которые обслуживаются одинаково для всех, и их адаптация очень дорога», — сказал Хукер. “На самом деле, я думаю, что это больше не должно быть правдой, и системы ИИ могут очень эффективно учиться на основе окружающей среды. Доказательство этого полностью изменит динамику того, кто получает возможность контролировать и формировать ИИ, и, на самом деле, кому в конечном итоге служат эти модели”.

Adaption Labs является последним признаком того, что вера отрасли в масштабирование LLM колеблется. Недавняя статья исследователей Массачусетского технологического института показала, что крупнейшие в мире модели искусственного интеллекта вскоре может показать убывающую отдачу. Атмосфера в Сан-Франциско, похоже, тоже меняется. Любимый подкастер в мире искусственного интеллекта Дваркеш Патель недавно провел необычно скептические беседы с известными исследователями искусственного интеллекта.

Ричард Саттон, лауреат премии Тьюринга, считающийся «отцом RL», сказал Пателю в сентябре, что LLM не могут по-настоящему масштабироваться потому что они не учатся на реальном опыте. В этом месяце один из первых сотрудников OpenAI Андрей Карпати рассказал Пателю, что были оговорки о долгосрочном потенциале RL для улучшения моделей ИИ.

Подобные страхи не являются беспрецедентными. В конце 2024 года некоторые исследователи ИИ выразили обеспокоенность что масштабирование моделей ИИ посредством предварительного обучения, в ходе которого модели ИИ изучают закономерности из кучи наборов данных, дает уменьшающуюся отдачу. До этого предварительное обучение было секретным средством OpenAI и Google для улучшения своих моделей.

Эти проблемы масштабирования перед обучением теперь решены. появляется в данныхно индустрия искусственного интеллекта нашла другие способы улучшения моделей. В 2025 году прорывы в моделях рассуждения ИИ, которые требуют дополнительного времени и вычислительных ресурсов для решения проблем перед ответом, еще больше расширили возможности моделей ИИ.

Лаборатории искусственного интеллекта, похоже, убеждены, что расширение моделей рассуждения RL и искусственного интеллекта — это новый рубеж. Исследователи OpenAI ранее сообщили >, что они разработали свою первую модель рассуждения ИИo1, потому что они думали, что это будет хорошо масштабироваться. Исследователи Мета и Периодических лабораторий недавно выпустил документ изучение того, как RL может еще больше повысить производительность — исследование, которое, как сообщается, стоимость более 4 миллионов долларов, подчеркивая, насколько дорогими остаются нынешние подходы.

Adaptation Labs, напротив, стремится найти следующий прорыв и доказать, что обучение на основе опыта может быть гораздо дешевле. Ранее этой осенью стартап вел переговоры о привлечении начального раунда в размере от 20 до 40 миллионов долларов, по словам трех инвесторов, которые просматривали его презентационные материалы. Они говорят, что раунд уже закрыт, хотя окончательная сумма неясна. Хукер отказался от комментариев.

«Мы настроены быть очень амбициозными», — сказала Хукер, когда ее спросили о ее инвесторах.

Хукер ранее возглавляла Cohere Labs, где обучала небольшие модели искусственного интеллекта для корпоративных сценариев использования. Компактные системы искусственного интеллекта теперь регулярно превосходят свои более крупные аналоги в тестах кодирования, математики и рассуждения — и Хукер хочет продолжать эту тенденцию.

Она также заработала репутацию благодаря расширению доступа к исследованиям в области искусственного интеллекта во всем мире, нанимая талантливых исследователей из недостаточно представленных регионов, таких как Африка. Хотя Adaption Labs скоро откроет офис в Сан-Франциско, Хукер говорит, что планирует нанимать сотрудников по всему миру.

Если Хукер и Adaption Labs правы в отношении ограничений масштабирования, последствия могут быть огромными. Миллиарды уже вложены в масштабирование LLM, исходя из предположения, что более крупные модели приведут к общему интеллекту. Но вполне возможно, что настоящее адаптивное обучение окажется не только более эффективным, но и гораздо более эффективным.

Репортаж предоставила Марина Темкин.