Прорыв в умножении матриц может привести к созданию более быстрых и эффективных моделей искусственного интеллекта

Ученые-компьютерщики открыли новый способ умножать большие матрицы быстрее, чем когда-либо прежде, устраняя ранее неизвестную неэффективность, сообщает Журнал Кванта. В конечном итоге это может ускорить такие модели искусственного интеллекта, как ЧатGPT, работа которых в значительной степени зависит от умножения матриц. Результаты, представленные в двух недавних статьях, привели к, как сообщается, самому большому повышению эффективности матричного умножения за более чем десятилетие.

Умножение двух прямоугольных числовых массивов, известных как умножение матрицыиграет решающую роль в современных моделях искусственного интеллекта, включая распознавание речи и изображений, чат-боты от всех крупных поставщиков, генераторы изображений искусственного интеллекта и модели синтеза видео, такие как Сора. Помимо искусственного интеллекта, матричная математика настолько важна для современных вычислений (например, обработка изображений и сжатие данных), что даже небольшое повышение эффективности может привести к экономии вычислений и энергии.

Графические процессоры (GPU) превосходно справляются с задачами умножения матриц благодаря своей способности обрабатывать множество вычислений одновременно. Они разбивают большие матричные задачи на более мелкие сегменты и решают их одновременно с использованием алгоритма.

Совершенствование этот алгоритм стал ключом к прорыву в эффективности матричного умножения за последнее столетие — даже до того, как на сцену вышли компьютеры. В октябре 2022 года мы рассмотрели новая техника обнаружен с помощью модели искусственного интеллекта Google DeepMind под названием AlphaTensor, ориентированной на практические улучшения алгоритмов для матриц определенных размеров, таких как матрицы 4×4.

Напротив, новое исследованиепроведенный Ран Дуанем и Жэньфэем Чжоу из Университета Цинхуа, Хунсюнем Ву из Калифорнийского университета в Беркли, а также Вирджинией Василевской Уильямс, Иньчжан Сюй и Цзысюань Сюй из Массачусетского технологического института (во второй статье), стремится к теоретическим усовершенствованиям, стремясь снизить показатель сложности ω для значительного повышения эффективности при всех размерах матриц. Вместо поиска немедленных практических решений, таких как AlphaTensor, новый метод направлен на фундаментальные улучшения, которые могут изменить эффективность умножения матриц в более общем масштабе.

Приближаемся к идеальному значению

Традиционный метод умножения двух матриц размером n на n требует n³ отдельных умножений. Однако новая техника, которая совершенствует «лазерный метод” представлен Фолькер Штрассен в 1986 году уменьшил верхнюю границу показателя степени (обозначенную вышеупомянутым ω), приблизив ее к идеальному значению 2, которое представляет собой теоретическое минимальное количество необходимых операций.

Традиционный способ умножения двух сеток, полных чисел, может потребовать выполнения математических вычислений до 27 раз для сетки 3×3. Но благодаря этим достижениям процесс ускоряется за счет значительного сокращения необходимых шагов умножения. Эти усилия сводят к минимуму операции до чуть более чем удвоенного размера квадрата одной стороны сетки, скорректированного с коэффициентом 2,371552. Это очень важно, потому что почти достигается оптимальная эффективность удвоения размеров квадрата, а это самая быстрая скорость, на которую мы когда-либо могли надеяться.

Вот краткий обзор событий. В 2020 году Джош Алман и Уильямс внесено значительное улучшение в эффективности матричного умножения, установив новую верхнюю границу для ω примерно на уровне 2,3728596. В ноябре 2023 года Дуань и Чжоу раскрыл метод это устранило неэффективность лазерного метода и установило новую верхнюю границу для ω примерно на уровне 2,371866. Это достижение ознаменовало самый существенный прогресс в этой области с 2010 года. Но всего два месяца спустя Уильямс и ее команда опубликовал вторую статью это подробные оптимизации, которые снизили верхнюю границу ω до 2,371552.

Прорыв 2023 года стал результатом открытия «скрытой потери» в лазерном методе, когда полезные блоки данных были непреднамеренно отброшены. В контексте умножения матриц «блоки» относятся к более мелким сегментам, на которые делится большая матрица для облегчения обработки, а «маркировка блоков» — это метод категоризации этих сегментов для определения того, какие из них следует сохранить, а какие отбросить, оптимизируя процесс умножения для скорости и эффективности. Изменив способ маркировки блоков лазерным методом, исследователи смогли сократить отходы и значительно повысить эффективность.

Хотя уменьшение константы омега на первый взгляд может показаться незначительным (снижение рекордного значения 2020 года на 0,0013076), совокупная работа Дуаня, Чжоу и Уильямса представляет собой наиболее существенный прогресс в этой области, наблюдаемый с 2010 года.

«Это крупный технический прорыв», — сказал Уильям Кушмаул, ученый-теоретик в области информатики из Гарвардского университета, цитирует журнал Quanta Magazine. «Это самое большое улучшение в матричном умножении, которое мы видели более чем за десять лет».

Хотя ожидается дальнейший прогресс, нынешний подход имеет ограничения. Исследователи полагают, что более глубокое понимание проблемы приведет к разработке еще лучших алгоритмов. Как заявил Чжоу в отчете Quanta: «Люди все еще находятся на самых ранних стадиях понимания этой извечной проблемы».

Так каковы же практические применения? Для моделей ИИ сокращение вычислительных шагов для матричной математики может привести к сокращению времени обучения и более эффективному выполнению задач. Это может позволить быстрее обучать более сложные модели, что потенциально приведет к развитию возможностей искусственного интеллекта и разработке более сложных приложений искусственного интеллекта. Кроме того, повышение эффективности может сделать технологии искусственного интеллекта более доступными за счет снижения вычислительной мощности и энергопотребления, необходимых для этих задач. Это также уменьшит воздействие ИИ на окружающую среду.

Точное влияние на скорость моделей ИИ зависит от конкретной архитектуры системы ИИ и от того, насколько сильно ее задачи зависят от умножения матриц. Повышение эффективности алгоритмов часто необходимо сочетать с оптимизацией оборудования, чтобы полностью реализовать потенциальный прирост скорости. Но, тем не менее, по мере того, как с течением времени улучшаются алгоритмические методы, ИИ будет становиться быстрее.