Почему специальные ИИ-чипы Google встряхивают технологическую индустрию

Позиция Nvidia как доминирующего поставщика чипов искусственного интеллекта может оказаться под угрозой из-за специализированного чипа, впервые разработанного Google. как Мета и антропный планируют потратить миллиарды на тензорные процессоры Google.

Что такое ТПУ?

Успех индустрии искусственного интеллекта во многом основан на графические процессоры (GPU), своего рода компьютерный чип, который может выполнять множество параллельных вычислений одновременно, а не один за другим, как компьютерные процессоры (ЦП), на которых работает большинство компьютеров.

Изначально графические процессоры были разработаны для работы с компьютерной графикой, как следует из названия, и для игр. «Если у меня много пикселей в пространстве, и мне нужно выполнить их поворот, чтобы вычислить новое изображение камеры, эту операцию можно выполнить параллельно для множества разных пикселей», — говорит Франческо Конти в Болонском университете в Италии.

Эта возможность выполнять вычисления параллельно оказалась полезной для обучения и запуска моделей ИИ, которые часто используют вычисления, включающие в себя обширные сетки чисел, выполняемые одновременно, что называется матричным умножением. «Графические процессоры представляют собой очень общую архитектуру, но они идеально подходят для приложений, демонстрирующих высокую степень параллелизма», — говорит Конти.

Однако, поскольку они изначально не были разработаны с учетом ИИ, способы, которыми графические процессоры преобразуют вычисления, выполняемые на чипах, могут быть неэффективными. Тензорные процессоры (TPU), которые изначально были разработаны Google в 2016 году, вместо этого предназначены исключительно для матричного умножения, говорит Конти, которое является основными вычислениями, необходимыми для обучения и запуска больших моделей ИИ.

В этом году Google выпустила седьмое поколение ТПУ под названием Ironwoodна котором работают многие модели искусственного интеллекта компании, такие как Близнецы и белковое моделирование АльфаФолд.

Являются ли TPU намного лучше, чем графические процессоры для искусственного интеллекта?

По его словам, с технологической точки зрения TPU — это скорее подмножество графических процессоров, чем совершенно другой чип. Саймон Макинтош-Смит в Бристольском университете, Великобритания. «Они фокусируются на тех моментах, которые выполняют графические процессоры, более конкретно направленные на обучение и вывод для ИИ, но на самом деле они в некотором смысле больше похожи на графические процессоры, чем вы думаете». Но поскольку TPU разрабатываются с учетом определенных приложений искусственного интеллекта, они могут быть гораздо более эффективными для этих задач и потенциально сэкономить десятки или сотни миллионов долларов, говорит он.

Однако эта специализация также имеет свои недостатки и может сделать TPU негибкими, если модели ИИ существенно меняются от поколения к поколению, говорит Конти. «Если у вас нет гибкости в вашем [TPU]ты должен сделать [calculations] на процессоре вашего узла в центре обработки данных, и это значительно замедлит вашу работу», — говорит Конти.

Одним из преимуществ, которым традиционно обладают графические процессоры Nvidia, является наличие простого программного обеспечения, которое может помочь разработчикам искусственного интеллекта запускать свой код на чипах Nvidia. По словам Конти, этого не было с TPU, когда они впервые появились, но сейчас чипы находятся на этапе, когда их более просто использовать. «Теперь с ТПУ вы можете делать то же самое [as GPUs]”, – говорит он. – Теперь, когда вы это сделали, стало ясно, что доступность становится основным фактором”.

Кто строит ТПУ?

Хотя Google первым запустил TPU, многие крупнейшие компании, занимающиеся искусственным интеллектом (известные как гипермасштаберы), а также более мелкие стартапы теперь начали разрабатывать свои собственные специализированные TPU, включая Amazon, которая использует собственные чипы Trainium для обучения своих моделей ИИ.

«Большинство гиперскейлеров имеют свои собственные внутренние программы, и это отчасти потому, что графические процессоры стали настолько дорогими, потому что спрос превышал предложение, и, возможно, было бы дешевле спроектировать и создать свои собственные», — говорит Макинтош-Смит.

Как ТПУ повлияют на индустрию искусственного интеллекта?

Google разрабатывает свои TPU уже более десяти лет, но в основном использует эти чипы для своих собственных моделей искусственного интеллекта. Что сейчас меняется, так это то, что другие крупные компании, такие как Meta и Anthropic, делают значительные закупки вычислительной мощности у TPU Google. «О чем мы не слышали, так это о переходе крупных клиентов, и, возможно, именно это начинает происходить сейчас», — говорит Макинтош-Смит. «Они достаточно повзрослели, и их достаточно».

По его словам, не только создание большего выбора для крупных компаний, но и диверсификация может иметь для них хороший финансовый смысл. «Возможно, это даже означает, что в будущем вы получите более выгодную сделку от Nvidia», — говорит он.