1759007882
2025-09-27 21:02:00
Растущий спрос на искусственный интеллект на поступлении стимулирует развитие ускорителей края, и понимание их лимитов эффективности имеет решающее значение для эффективного развертывания глубоких нейронных сетей. Прашанти С.К., Кунал Кумар Саху и Амарта Ранджан Сайкия, а также их коллеги исследуют характеристики энергии и времени этих ускорителей, в частности, Jetson Orin Agx, в целом различные настройки мощности. Их работа устанавливает новые аналитические модели, называемые «линиями крыши», которые показывают фундаментальные отношения между вычислениями, доступом к памяти и энергопотреблением как для вывода, так и для учебных задач. Это исследование демонстрирует, что обычно используемые режимы мощности по умолчанию не всегда являются наиболее энергоэффективными и, что важно, обеспечивает метод для настройки настройки устройства, чтобы значительно снизить потребление энергии с минимальным воздействием на производительность, предлагая путь для более устойчивых и мощных краевых вычислений.
Стержень, анализ линии крыши и федеративное обучение
В этом исследовании подробно описываются исследования в отношении эффективности и энергоэффективности моделей глубокого обучения во время вывода на границе, таких как Nvidia Jetson Agx Orin. Главной целью является выявление узких мест производительности и разработки методов для оптимизации производительности и снижения энергопотребления. Центральный компонент этой работы включает в себя использование и расширение модели линии крыши для анализа и прогнозирования характеристик производительности, выходя за рамки простых метрик, включающих соображения для федеративного обучения, устойчивости к разломам и модельных архитектур. Модель Roof Line служит основным аналитическим инструментом, визуализируя ограничения производительности на основе вычислительной пропускной способности и пропускной способности памяти.
Исследователи исследовали расширения на базовой линии крыши, в том числе линию крыши на основе времени, сосредоточенной на времени выполнения, линии крыши с учетом кэша с учетом иерархий кэша и энергетической линии крыши, включающей потребление энергии. Арифметическая интенсивность, отношение операций с плавающей точкой к доступу к памяти является важной метрикой, причем модели демонстрируют различные характеристики, влияющие на производительность на различных аппаратных платформах. Исследование исследует, как эти соображения производительности применяются к федеративным сценариям и методам обучения для поддержания производительности даже при сбоях аппаратного обеспечения. Пропускная способность памяти часто ограничивает вывод глубокого обучения, особенно для моделей с низкой интенсивностью арифметики, вызов, выраженной на устройствах с ограниченными ресурсами памяти.
Методы оптимизации, такие как квантование, обрезка, слияние ядра и использование тензорных ядер, могут повысить производительность и уменьшить присутствие памяти, в то время как динамическое масштабирование напряжения может снизить энергопотребление. Работа охватывает ряд моделей и наборов данных, включая классификацию изображений с Resnet и Mobilenet, обнаружение объекта с помощью Yolov8 и обработку естественного языка с LSTM и BERT, используя наборы данных, такие как Wikitext и Squad. Федеративные учебные эксперименты использовали набор данных GLDV2V, используя NVIDIA CUDA, NSIGHT Compute и эмпирическую инструмент линии крыши, наряду с Tensorflow, Pytorch и наборами данных об объятиях. Будущие направления исследований включают в себя разработку более сложных моделей линии крыши, автоматизацию настройки производительности, приоритет оптимизации энергосбережения, разработку методов вывода с отказоустойчивости и применение анализа линии крыши к федеративному обучению с ключевым вниманием к выводу модели крупного языка на ускорителях края. Признавая ограничения существующих подходов, управляемых данными, исследовательская группа сосредоточилась на понимании фундаментальных причин изменений производительности между многочисленными режимами мощности, новаторским созданием как линии крыши времени, так и новой модели энергетической линии крыши для Jetson Orin Agx. Эти модели на крыше были связаны с аналитической моделью количественной оценки вычислительных операций и доступа к памяти для рабочих нагрузок вывода DNN, что позволило команде анализировать характеристики производительности с первых принципов и раскрывать понимание того, как различные режимы мощности влияют на скорость и потребление энергии. Исследователи тщательно проанализировали, как различные процессоры, графический процессор и частоты памяти влияют на выполнение слоев DNN, учитывая как обратные, так и обратные проходы во время обучения и вывода, расширив анализ на рабочие нагрузки DNN. Команда применила эти модели, чтобы настроить режим питания устройства Edge, оптимизируя как для задержки, так и для использования энергии во время вывода DNN, достигнув 15% снижения потребления энергии с минимальным деградацией во время вывода. Исследование сосредоточено на создании моделей как времени, так и энергии, предоставляя подробное понимание вычислительных ограничений устройства и характеристик энергопотребления в широком спектре рабочих условий. Эксперименты показывают, что режим мощности MAXN по умолчанию, обеспечивая пиковую производительность, не обязательно является наиболее энергоэффективным. Команда собрала данные линии крыши от 96 различных режимов мощности, различающихся графических процессоров, процессора и частот памяти, для картирования производительности и энергоэффективности, демонстрируя, что тщательная настройка режима мощности может обеспечить более низкое потребление энергии при сохранении минимального деградации во время вывода. Исследование выходит за рамки вывода, также анализируя шесть рабочих нагрузок DNN с использованием той же методологии линии крыши. Аналитические модели команды точно прогнозируют производительность нейронных сетей, предлагая представление о том, как оптимизировать конфигурацию устройства для конкретных задач, демонстрируя потенциал для сдвига пределов производительности устройства, настраивая режимы мощности, а не изменяя саму нейронную сеть.
#Энергетическая #временная #линия #крыши #для #рабочих #нагрузок #DNN #на #крае #ускорителей #демонстрирует #производительность #на #устройствах #Jetson
Продолжение темы
