HBM на графическом процессоре: тепловые проблемы и решения

Загляните внутрь упаковки AMD или Nvidia самые передовые продукты искусственного интеллекта и вы обнаружите знакомое расположение: с двух сторон графический процессор окружен память с высокой пропускной способностью (HBM)самые современные чипы памяти. Эти микросхемы памяти размещаются как можно ближе к вычислительным чипам, которые они обслуживают, чтобы устранить самое большое узкое место в вычислениях с использованием искусственного интеллекта — энергия и задержка в передаче миллиардов бит в секунду из памяти в логику. Но что, если бы вы могли еще больше сблизить вычисления и память, разместив HBM поверх графического процессора?

Имек недавно исследовал этот сценарий с помощью передового теплового моделирования, и ответ был представлен в декабре на Международная конференция IEEE по электронным устройствам 2025 г. (IEDM) — было немного мрачно. 3D-укладка удваивает рабочую температуру внутри графического процессора, делая его неработоспособным. Но команда, возглавляемая Imec Джеймс Майерсне просто так сдался. Они определили несколько инженерных оптимизаций, которые в конечном итоге могут свести разницу температур почти до нуля.

Imec начала с теплового моделирования графического процессора и четырех кристаллов HBM в том виде, в котором вы их найдете сегодня, внутри так называемого 2.5D-пакета. То есть и графический процессор, и HBM расположены на подложке, называемой промежуточным устройством, с минимальным расстоянием между ними. Два типа чипов соединены тысячами медных пластин микрометрового размера. межсоединения встроен в поверхность интерпозера. В этой конфигурации модель графического процессора потребляет 414 Вт и достигает пиковой температуры чуть ниже 70 °C, что типично для процессора. Чипы памяти потребляют дополнительно около 40 Вт и нагреваются несколько меньше. Тепло отводится от верхней части упаковки с помощью жидкостное охлаждение это стало обычным явлением в новом ИИ центры обработки данных.

СВЯЗАННЫЙ: Будущие чипы будут еще популярнее, чем когда-либо

«Хотя этот подход используется в настоящее время, он плохо масштабируется в будущем, особенно потому, что он блокирует две стороны графического процессора, ограничивая будущие соединения между графическими процессорами внутри корпуса». Юкай Чен– рассказал старший научный сотрудник Imec инженерам ИДМ. Напротив, «3D-подход приводит к более высокой пропускной способности, меньшей задержке… наиболее важным улучшением является размер пакета».

К сожалению, как обнаружили Чен и его коллеги, самый простой вариант стекирования, заключающийся в простом размещении чипов HBM поверх графического процессора и добавлении блока чистого кремния, чтобы заполнить зазор в центре, поднял температуру графического процессора до палящих 140 °C — что намного превышает типичный предел графического процессора в 80 °C.

Совместная оптимизация системных технологий

Команда Imec приступила к опробованию ряда технологий и системных оптимизаций, направленных на снижение температуры. Первое, что они попытались сделать, — это выбросить слой кремния, который теперь стал ненужным. Чтобы понять почему, вам нужно сначала понять, что такое HBM на самом деле.

Эта форма памяти представляет собой стопку из 12 ячеек высокой плотности. ДРАМ умирает. Каждый из них утоньшен до десятков микрометров и пронизан вертикальными соединениями. Эти утонченные матрицы сложены друг на друга и соединены крошечными шарики припояи этот стек памяти вертикально соединен с другим элементом кремния, называемым базовым кристаллом. Базовый кристалл представляет собой логический чип, предназначенный для мультиплексирования данных — упаковки их в ограниченное количество проводов, которые могут пройти через зазор в миллиметре до графического процессора.

Но теперь, когда HBM установлен поверх графического процессора, в таком насосе данных нет необходимости. Биты могут поступать непосредственно в процессор, независимо от того, сколько проводов проходит вдоль стороны чипа. «Конечно, это изменение означает перемещение схем управления памятью из базового кристалла в графический процессор и, следовательно, изменение планировки процессора», — говорит Майерс. Но места должно быть достаточно, полагает он, поскольку графическому процессору больше не понадобятся схемы, используемые для демультиплексирования входящих данных в память.

СВЯЗАННЫЙ: Горячее, горячее будущее чипсов

Отказ от этого посредника в памяти снизил температуру всего лишь немногим менее чем на 4 °C. Но, что немаловажно, это должно значительно повысить пропускную способность между памятью и процессором, что важно для еще одной оптимизации, которую пробовала команда, — замедления графического процессора.

Может показаться, что это противоречит самой цели улучшения вычислений ИИ, но в данном случае это преимущество. Большие языковые модели Это так называемые проблемы, связанные с памятью. То есть пропускная способность памяти является основным ограничивающим фактором. Но команда Майерса подсчитала, что 3D-наложение HBM на графический процессор увеличит пропускную способность в четыре раза. С таким дополнительным запасом даже замедление тактовой частоты графического процессора на 50 процентов по-прежнему приводит к выигрышу в производительности, при одновременном охлаждении всего более чем на 20 °C. На практике процессор может не нуждаться в таком сильном замедлении. По словам Майерса, увеличение тактовой частоты до 70 процентов привело к тому, что температура графического процессора стала всего на 1,7 °C выше.

Оптимизированный ХБМ

Еще одно большое падение температуры произошло из-за того, что блок HBM и область вокруг него стали более проводящими. Это включало объединение четырех стопок в две более широкие, тем самым устраняя область улавливания тепла; прореживание верхней (обычно более толстой) матрицы стопки; и заполнение большей части пространства вокруг HBM чистыми кусочками кремния, чтобы проводить больше тепла.

При этом стек теперь работал при температуре около 88 °C. Последняя оптимизация вернула температуру примерно к 70 °C. Обычно около 95 процентов тепла чипа отводится через верхнюю часть корпуса, где в данном случае тепло уносится водой. Но добавление аналогичного охлаждения на нижнюю сторону привело к снижению температуры сложенных друг на друга чипов еще на 17 °C.

Хотя исследование, представленное на IEDM, показывает, что это возможно, HBM-on-GPU не обязательно является лучшим выбором, говорит Майерс. «Мы моделируем другие конфигурации системы, чтобы укрепить уверенность в том, что это лучший или не лучший выбор», — говорит он. «GPU-on-HBM представляет интерес для некоторых представителей промышленности», потому что он приближает графический процессор к системе охлаждения. Но, скорее всего, это будет более сложная конструкция, поскольку, чтобы достичь его, мощность и данные графического процессора должны будут проходить через HBM вертикально.