Аналоговые компьютеры могут обучать ИИ в 1000 раз быстрее и сокращать потребление энергии

Аналоговые компьютеры, которые быстро решают ключевой тип уравнений, используемых при обучении моделей искусственного интеллекта, могут предложить потенциальное решение растущее энергопотребление в дата-центрах вызвано бумом искусственного интеллекта.

Ноутбуки, смартфоны и другие привычные устройства известны как цифровые компьютеры, поскольку они хранят и обрабатывают данные в виде последовательности двоичных цифр, 0 или 1, и могут быть запрограммированы для решения ряда задач. Напротив, аналоговые компьютеры обычно предназначены для решения только одной конкретной задачи. Они хранят и обрабатывают данные, используя величины, которые могут изменяться непрерывно, например электрическое сопротивление, а не дискретные 0 и 1.

Аналоговые компьютеры могут превзойти скорость и энергоэффективность, но раньше им не хватало точности своих цифровых аналогов. Сейчас, Чжун Сунь из Пекинского университета (Китай) и его коллеги создали пару аналоговых чипов, которые работают вместе для точного решения матричных уравнений – фундаментальной части передачи данных по телекоммуникационным сетям, выполнения крупных научных симуляций или обучения моделей искусственного интеллекта.

Первый чип очень быстро выдает низкоточное решение для матричных вычислений, а второй запускает алгоритм итеративного уточнения для анализа частоты ошибок первого чипа и, таким образом, повышения точности. Сан утверждает, что первый чип дает результаты с частотой ошибок около 1 процента, но после трех циклов работы второго чипа эта ошибка падает до 0,0000001 процента, что, по его словам, соответствует точности стандартных цифровых вычислений.

На данный момент исследователи создали чипы, способные решать матрицы размером 16 на 16 или чипы с 256 переменными, которые могут найти применение для решения некоторых небольших задач. Но Сан признает, что для решения вопросов, используемых в современных крупных моделях искусственного интеллекта, потребуются гораздо более крупные схемы, возможно, миллион на миллион.

Но одно из преимуществ аналоговых чипов перед цифровыми состоит в том, что решение больших матриц не требует больше времени, в то время как цифровые чипы испытывают экспоненциальные трудности с увеличением размера матрицы. Это означает, что пропускная способность (объем данных, обрабатываемых в секунду) матричного чипа 32 на 32 превысит пропускную способность Нвидиа Х100 Графический процессор, один из высокопроизводительных чипов, используемых сегодня для обучения искусственного интеллекта.

Теоретически, дальнейшее масштабирование может привести к тому, что пропускная способность в 1000 раз превысит пропускную способность цифровых чипов, таких как графические процессоры, при этом будет потребляться в 100 раз меньше энергии, говорит Сан. Но он сразу же отмечает, что реальные задачи могут выходить за рамки чрезвычайно узких возможностей их схем, что приводит к меньшим результатам.

«Это всего лишь сравнение скорости, а для реальных приложений проблема может быть иной», — говорит Сан. “Наш чип может выполнять только матричные вычисления. Если матричные вычисления занимают большую часть вычислительной задачи, это представляет собой очень значительное ускорение решения проблемы, но если нет, то это будет ограниченное ускорение”.

Сан говорит, что из-за этого наиболее вероятным результатом является создание гибридных чипов, в которых графический процессор будет содержать несколько аналоговых схем, которые решают очень специфические части задач – но даже это, вероятно, произойдет через несколько лет.

Джеймс Миллен в Королевском колледже Лондона говорят, что матричные вычисления являются ключевым процессом в обучении моделей ИИ и что аналоговые вычисления предлагают потенциальный импульс.

“Современный мир построен на цифровых компьютерах. Эти невероятные машины являются универсальными компьютерами, а это означает, что с их помощью можно вычислить абсолютно все, но не все обязательно можно вычислить эффективно и быстро”, – говорит Миллен. “Аналоговые компьютеры адаптированы к конкретным задачам и поэтому могут быть невероятно быстрыми и эффективными. В этой работе используется аналоговый вычислительный чип для ускорения процесса, называемого инверсией матрицы, который является ключевым процессом в обучении определенных моделей ИИ. Более эффективное выполнение этого может помочь снизить огромные потребности в энергии, связанные с нашей постоянно растущей зависимостью от ИИ”.