Google заявляет, что снизил затраты на энергетическую стоимость ИИ на 33 раза в год

Чтобы придумать типичные цифры, команда, которая выполнила анализ отслеживающих запросов, и оборудование, которое обслуживало их в течение 24 часов, а также время простоя для этого оборудования. Это дает им энергию по оценке запроса, которая отличается на основе используемой модели. Для каждого дня они определяют медиана и используют ее для расчета воздействия на окружающую среду.

Спускается вниз

Используя эти оценки, они обнаруживают, что влияние отдельного текстового запроса довольно мало. «Мы оцениваем, что в приложении для приложений срединных приложений Близнецы используются 0,24 ватт-часа энергии, излучает 0,03 грамма эквивалента углекислого газа (GCO2E) и потребляет 0,26 миллилитров (или около пяти капель) воды»,-заключают они. Чтобы поместить это в контекст, они оценивают, что использование энергии аналогично примерно девяти секунд просмотра телевидения.

Плохая новость заключается в том, что объем запросов, несомненно, очень высок. Компания решила выполнить операцию искусственного интеллекта с каждым запросом на поиск, вычислите спрос, которого просто не существовали пару лет назад. Таким образом, хотя индивидуальное воздействие невелико, кумулятивная стоимость, вероятно, будет значительной.

Хорошие новости? Всего год назад это было бы намного, намного хуже.

Отчасти это просто до обстоятельств. С бум в солнечной энергии В США и в других местах Google стало легче организовать возобновляемую энергию. В результате выбросы углерода на единицу потребляемой энергии наблюдали сокращение в 1,4 раза за прошедший год. Но самые большие победы были на стороне программного обеспечения, где различные подходы привели к снижению энергии в 33 раза.

Команда Google описывает ряд оптимизаций, которые компания сделала, что способствует этому. Одним из них является подход, называемый смеси экспертов, который включает в себя выяснение того, как активировать только часть модели ИИ, необходимой для обработки конкретных запросов, которые могут снизить вычислительные потребности в течение 10-100. Они разработали ряд компактных версий своей основной модели, что также уменьшает вычислительную нагрузку. Управление центром обработки данных также играет роль, поскольку компания может убедиться, что любое активное оборудование полностью используется, позволяя остальным оставаться в состоянии низкой мощности.