Есть простой способ значительно сократить потребление энергии ИИ

Если мы будем более разумно выбирать модели ИИ для решения задач, то только в этом году мы потенциально сможем сэкономить 31,9 тераватт-часа энергии, что эквивалентно мощности пяти ядерных реакторов.

Тьяго да Силва Баррос из Университета Лазурного берега во Франции и его коллеги изучили 14 различных задач, для решения которых люди используют инструменты генеративного искусственного интеллекта: от генерации текста до распознавания речи и классификации изображений.

Затем они изучили общедоступные таблицы лидеров, в том числе размещенные центром машинного обучения Hugging Face, на предмет эффективности различных моделей. Энергоэффективность моделей во время вывода — когда модель ИИ выдает ответ — измерялась с помощью инструмента под названием CarbonTracker, а общее энергопотребление этой модели рассчитывалось путем отслеживания пользовательских загрузок.

«Исходя из размера модели, мы оценили энергопотребление и на основе этого можем попытаться сделать наши оценки», — говорит да Силва Баррос.

Исследователи обнаружили, что по всем 14 задачам переход от наиболее эффективных к наиболее энергоэффективным моделям для каждой задачи снизил потребление энергии на 65,8 процента, в то время как результат стал менее полезным всего на 3,9 процента – компромисс, который, по их мнению, может быть приемлемым для общественности.

Поскольку некоторые люди уже используют самые экономичные модели, если бы люди в реальном мире перешли с высокопроизводительных моделей на наиболее энергоэффективные модели, они могли бы добиться общего снижения энергопотребления на 27,8%. «Мы были удивлены тем, сколько можно сэкономить», — говорит член команды Фредерик Жируар во Французском национальном центре научных исследований.

Однако для этого потребуются изменения как со стороны пользователей, так и со стороны компаний, занимающихся искусственным интеллектом, говорит да Силва Баррос. «Мы должны думать в направлении использования небольших моделей, даже если мы потеряем часть производительности», — говорит он. «И компаниям, когда они разрабатывают модели, важно делиться некоторой информацией о модели, которая позволяет пользователям понять и оценить, является ли модель очень энергозатратной или нет».

Некоторые компании, занимающиеся искусственным интеллектом, сокращают энергопотребление своих продуктов с помощью процесса, называемого дистилляцией модели, когда большие модели используются для обучения меньших моделей. Это уже оказывает значительное влияние, говорит Крис Прейст в Бристольском университете в Великобритании. Например, Google недавно заявила повышение энергоэффективности в 33 раза в Близнецах за последний год.

Однако предоставление пользователям возможности выбирать наиболее эффективные модели «вряд ли приведет к ограничению увеличения энергопотребления в центрах обработки данных, как предполагают авторы, по крайней мере, в нынешнем пузыре искусственного интеллекта». — говорит Прейст. «Снижение затрат энергии на подсказку просто позволит обслуживать больше клиентов быстрее, используя более сложные варианты рассуждений», — говорит он.

«Использование моделей меньшего размера определенно может привести к меньшему потреблению энергии в краткосрочной перспективе, но существует множество других факторов, которые необходимо учитывать при составлении каких-либо значимых прогнозов на будущее», — говорит Саша Луччиони в «Обнимающем лице». Она предупреждает, что «необходимо принимать во внимание эффекты отскока, такие как рост потребления, а также более широкое воздействие на общество и экономику».

Луччиони отмечает, что любые исследования в этой области основаны на внешних оценках и анализе из-за отсутствия прозрачности со стороны отдельных компаний. «Для проведения такого рода более сложного анализа нам нужна большая прозрачность со стороны компаний, занимающихся искусственным интеллектом, операторов центров обработки данных и даже правительств», — говорит она. «Это позволит исследователям и политикам делать обоснованные прогнозы и решения».