В последние годы технологии искусственного интеллекта развиваются быстрыми темпами, а благодаря зрелости фреймворков глубокого обучения, представленных Pytorch и TensorFlow, процесс обучения моделей искусственного интеллекта стал относительно ясным и зрелым. Однако появление предварительно обученных моделей и последующих серий сверхбольших моделей сделало потребность в ручном обучении и пользовательских моделях все меньше и меньше для большинства разработчиков и предприятий ИИ. По мере того, как ожидания общественности в отношении моделей ИИ возвращаются к рациональности, конкуренция между предприятиями в области ИИ постепенно перешла от «академической конкуренции» к «конкуренции приложений».
В этом году это явление стало особенно очевидным: зрелость модели «генерируемого текстом изображения», представленной диффузионными моделями, вызвала волну рисования ИИ, и концепция AIGC стала популярной. К концу этого года ChatGPT вызвал бурную дискуссию о диалоге между человеком и машиной и даже о подрыве форм поисковых систем.Искусственный интеллект больше не является соревнованием академических концепций, а стал реальным приложением и инструментом. .
Даже способности ИИ рисовать достаточно, чтобы выиграть несколько конкурсных наград——
Как показано на картинке, «Космический оперный театр» был создан Джейсоном Алленом после почти тысячи попыток использования программного обеспечения для рисования с искусственным интеллектом MidJourney и получил первый приз на Ярмарке штата Колорадо.
Однако эффективность технологии ИИ на уровне разработки приложений сталкивается со многими проблемами.
В корпоративных приложениях ИИ неизбежно нужно учитывать, как внедрить модель в производственную среду, как обеспечить доступность и надежность модели после развертывания, а также как контролировать и поддерживать производительность модели. Эти проблемы требуют, чтобы предприятия имели полный набор процессов разработки приложений ИИ и были оснащены соответствующими инструментами и ресурсами.
Предприятия с такой полной цепочкой инструментов часто очень немногие гиганты, и поскольку цепочка инструментов недостаточно развита, сотрудники часто жалуются на них.
Эти проблемы часто возникают в процессе развертывания модели в производственной среде после завершения обучения модели. Цепочка инструментов для развертывания модели относительно длинная, и проблемы совместимости вышестоящих и нижестоящих инструментов возникают одна за другой, а широкое использование предприятиями инструментов с открытым исходным кодом может вызвать проблемы с безопасностью. Эти разрозненные проблемы сильно ограничивают производительность предприятий, разрабатывающих приложения ИИ.
Приведите конкретный пример.
TensorRT, инфраструктура ускорения вывода, часто используется, когда мы преобразуем модель из контрольной точки обучения в готовую к развертыванию модель прямого вывода ONNX. Однако из-за большого разнообразия задач ИИ мы часто неизбежно меняем структуру модели.После использования некоторых необычных операндов (op) легко столкнуться с проблемой, что TensorRT op не поддерживает его.По этой причине мы необходимо написать плагин и внести ряд изменений и адаптаций, что сильно тормозит процесс развертывания и запуска.
Даже если проблема адаптации оператора не возникает, поскольку этап рассуждений часто требует высокой оперативности и параллелизма вычислений, в целях экономии ресурсов развертывания предприятия часто снижают точность модели — квантование FP16 или даже квантование INT8 и т. д. В процессе при расчете точности часто обнаруживается, что модель потеряла большую часть эффекта, и может потребоваться вернуться и добавить некоторые навыки для переобучения модели.
Кроме того, поскольку модели ИИ часто должны обрабатывать конфиденциальные данные, вопросы конфиденциальности и безопасности данных также необходимо учитывать при разработке приложений ИИ. Предприятиям необходимо создать разумный механизм защиты данных, чтобы предотвратить утечку конфиденциальной информации во время обучения и использования модели.
В целом предприятия сталкиваются со многими проблемами при разработке приложений ИИ.В настоящее время все острее ощущается потребность в цепочке инструментов, которая поможет предприятиям создавать и развертывать приложения ИИ более эффективно и безопасно. Этот набор цепочек инструментов включает инструменты развертывания моделей, платформы управления моделями, инструменты мониторинга моделей, инструменты защиты конфиденциальности данных и многое другое. Эти инструменты могут помочь компаниям лучше управлять процессом разработки приложений ИИ и контролировать его, а также обеспечивать доступность и надежность приложений ИИ.
К счастью, это здесь.
Корпоративный ИИ NVIDIA 3.0
Несколько дней назад NVIDIA анонсировала AI Enterprise 3.0 (сокращенно NVAIE 3.0) — платформу для разработки ИИ, которую можно назвать уровнем операционной системы.
Видно, что это не традиционная среда глубокого обучения, такая как TensorFlow и Pytorch, а универсальная платформа разработки, предназначенная для быстрого создания приложений ИИ, включая обучение моделей, оптимизацию логического вывода, развертывание и управление моделями. Весь процесс применения ИИ. разработка и запуск, такие как собственное облачное управление и собственное облачное управление, раньше занимали несколько месяцев, чтобы завершить разработку приложений ИИ, но на платформе NVAIE 3.0 это может быть завершено даже за несколько часов.
На рисунке мы можем видеть ключевые особенности платформы на четырех уровнях:
Включая рабочий процесс верхнего уровня, структуру и модель предварительного обучения: на уровне сценария приложения четко определите входные и выходные данные и задайте модель предварительного обучения, чтобы быстро завершить разработку приложения ИИ для типичных сценариев приложений и разработка и развертывание модели поддержки: разработка приложений Замкнутый цикл инструментов для завершения полного жизненного цикла моделей машинного обучения от разработки до развертывания, включая инструмент обучения миграции с малым кодом TAO, основную среду глубокого обучения TF/Pytorch, платформу ускорения рассуждений TensorRT, рассуждение сервисный движок и другие облачные архитектуры, поддерживающие гибридное облачное развертывание: интеграция GPU и DPU в k8s, оптимизация большого количества инфраструктуры, такой как инструменты MLOps: включая виртуализацию GPU, ускорение доступа к хранилищу на основе RDMA, базовую оптимизацию CUDA и т. д. .
Давайте расширим первые два уровня, чтобы увидеть, как NVAIE решает болевые точки в разработке приложений ИИ.
Например, как мы упоминали ранее, после того, как мы обучили хорошую контрольную точку модели, нам нужно преобразовать ее в развертываемую модель ONNX через TensorRT, В это время мы часто сталкиваемся с проблемой отсутствия операндов. Под платформой NVAIE 3.0 обученная вами модель будет легко конвертироваться в модель ONNX с поддержкой компонентов TAO во втором слое платформы, не беспокоясь о нехватке операндов и кастомизированной разработке.
В другом примере проблема количественной оценки модели, о которой мы упоминали ранее, также решается на втором уровне NVAIE — квантованная модель INT8 может быть получена напрямую через второй уровень компонентов TAO, не нужно беспокоиться о громоздком процессе квантования. проблема потери точности квантования.
И, как и в некоторых типичных сценариях приложений ИИ, таких как интеллектуальное обслуживание клиентов, рабочий процесс разработки приложений предустановлен на верхнем уровне платформы:
В качестве примера возьмем рабочий процесс умного виртуального помощника на рисунке выше.Давайте посмотрим, как работает типичный рабочий процесс.
В правом нижнем углу показан рабочий процесс на основе RIVA, в котором операции преобразования речи в текст (ASR) и преобразования текста в речь (TTS) будут выполняться как операции «предварительной обработки ввода» и «предварительной обработки вывода» интеллектуального виртуальный помощник. Затем пользовательский ввод, полученный через RIVA, будет введен в рабочий процесс RASA слева.
RASA – это среда диалогового робота с открытым исходным кодом. Здесь голосовой ввод пользователя, преобразованный в текст, будет проходить через базовый модуль NLU для выполнения таких операций, как сегментация слов, понимание намерений и заполнение слотов для получения структурированного результата семантического понимания.Результаты будут быть входом во внутренний модуль управления диалогами (DM) для отслеживания и управления статусом диалогов. После получения результата семантического понимания результат будет передан в верхний рабочий процесс HEYSTACK на рисунке для получения ответа-кандидата, подходящего для ответа пользователю посредством поиска ответа, и в конечном итоге ответ будет передан обратно в рабочий процесс RIVA для генерации голосовой ответ через модуль TTS.
Таким образом, завершается весь процесс работы сложного интеллектуального виртуального помощника. Если вы хотите построить такую сложную систему с нуля, это часто занимает несколько месяцев, но на основе рабочего процесса, который был определен на платформе NVAIE, вы даже можете реализовать весь процесс на уровне часа, что, можно сказать, значительно высвободил разработку приложений ИИ производительных сил.
Кроме того, платформа также имеет встроенный рабочий процесс транскрипции голоса, рабочий процесс сертификации защиты цифровой безопасности и т. д., и платформа постоянно разрабатывает рабочие процессы для большего количества сценариев приложений.В будущем может появиться рабочий процесс на основе карты и на основе OCR. рабочий процесс Подождите, это стоит того, чтобы с нетерпением ждать!
Стоит отметить, что для повышения эффективности разработки приложений ИИ и улучшения конечного эффекта приложения ИИ в платформу также встроено большое количество моделей предварительной подготовки (таких как усовершенствованная модель обнаружения пешеходов PeopleNet), и все эти модели предварительной подготовки не зашифрованы. Если вес полностью открыт, пользователь может использовать его для «разогрева» модели ИИ и пометить данные на основе сцены для точной настройки веса модели.
И эти предварительно обученные модели охватывают широкий спектр сценариев приложений. Что касается только распознавания автомобилей, в него встроены различные модели, такие как распознавание транспортных средств, распознавание номерных знаков и распознавание моделей. Благодаря модели предварительного обучения процесс разработки приложений ИИ может быть значительно ускорен.Те, кто заинтересован, могут проверить доступные модели предварительного обучения в каталоге NVIDIA NGC:
В дополнение к оптимизации на указанном выше уровне модели, NVAIE 3.0 также оптимизирует параллелизм, надежность и использование графического процессора сервисами ИИ, что отнимает много времени и создает проблемы для корпоративных разработчиков. Можно сказать, что платформа NVAIE реализует упаковку комплектов разработки на уровне операционной системы, позволяя корпоративным пользователям получить гарантию эффективности, действенности и безопасности на протяжении всего жизненного цикла разработки приложений ИИ.
Не говоря уже о том, что NVIDIA, как ведущий мировой производитель графических процессоров, обладает мощными возможностями «ноу-хау» на уровне графического процессора, что позволяет платформе NVAIE достигать настоящей оптимизации с обратной связью, что очень важно для эффективной разработки приложений. .
С точки зрения собственного облака поддержка NVAIE 3.0 для гибридного облачного развертывания может удовлетворить различные потребности предприятий в развертывании. Он также обеспечивает отличную сервисную поддержку, в том числе трехлетнюю долгосрочную поддержку, чтобы предприятия могли чувствовать себя более удобно и безопасно в процессе использования NVAIE 3.0.
В целом NVAIE 3.0 от NVIDIA — очень хорошая платформа для разработки ИИ, и ее появление принесло «революцию эффективности» в разработку приложений ИИ на предприятиях. Мы надеемся, что NVAIE 3.0 сможет помочь большему количеству компаний реализовать свои мечты об искусственном интеллекте в будущем.
