Соучредитель OpenAI говорит, что масштабирования вычислений недостаточно для развития искусственного интеллекта

Сооснователь OpenAI Илья Суцкевер считает, что индустрия искусственного интеллекта должна будет вернуться к фазе исследований.

В выпуске «Dwarkesh Podcast», опубликованном во вторник, Суцкевер, которого многие считают пионером в области современного искусственного интеллекта, бросил вызов общепринятому мнению о том, что масштабирование может быть ключевым шагом на пути к прогрессу ИИ.

Технологические компании вложили сотни миллиардов в приобретение графических процессоров и строительство центров обработки данных по сути, сделать свои инструменты искусственного интеллекта — будь то LLM или модели генерации изображений — лучше.

Мудрость заключается в том, что чем больше у вас вычислительных ресурсов или обучающих данных, тем умнее будет ваш инструмент искусственного интеллекта.

Суцкевер сказал в интервью, что примерно за последние полвека этот «рецепт» дал впечатляющие результаты. Это также эффективно для компаний, поскольку этот метод обеспечивает простой и «очень низкий риск» способа инвестирования ресурсов по сравнению с вложением денег в исследования, которые могут ни к чему не привести.

Однако Суцкевер, который сейчас баллотируется Безопасный Суперинтеллект Инк.считает, что метод выходит за пределы взлетно-посадочной полосы; данные ограничены, и организации уже имеют доступ к огромному количеству вычислений, сказал он.

«Действительно ли убеждение: «О, он такой большой, но если бы у вас было в 100 раз больше, все было бы по-другому?» Конечно, все было бы иначе. Но является ли вера в то, что если увеличить масштаб в 100 раз, все изменится? Я не думаю, что это правда», — сказал Суцкевер. «Итак, мы снова вернулись в эпоху исследований, только с большими компьютерами».

Суцкевер не сбрасывает со счетов необходимость вычислений, заявляя, что компьютеры по-прежнему необходимы для исследований и что они могут стать одним из «больших отличий» в отрасли, где все крупные организации работают по одной и той же парадигме.

Однако исследование будет иметь решающее значение для поиска эффективных и продуктивных способов использования всех полученных вычислительных ресурсов, сказал он.

По словам Сутскевера, одна из областей, которая потребует дополнительных исследований, — это получение моделей для обобщения — по сути, обучения с использованием небольших объемов информации или примеров — так же, как это делают люди.

«Самым фундаментальным, на мой взгляд, является то, что эти модели каким-то образом обобщают значительно хуже, чем люди», — сказал он. «Это совершенно очевидно. Это кажется очень фундаментальной вещью».