За пределами NVIDIA: ИИ-серверы Red Hat ускоряют логический вывод с помощью ИИ-чипов AWS Inferentia2 и AWS Trainium3 от AWS

Сегодня существует бесспорный лидер в ускорении вычислений для обучения и вывода ИИ: NVIDIA. Компания, возглавляемая Дженсеном Хуангом, фактически является ориентиром для гигантов искусственного интеллекта. Однако в аппаратном обеспечении также появляются альтернативы, такие как чипы. AWS Инферентия2 е AWS Трениум3 разработанный Веб-сервисы Amazon. По данным IDC, если сегодня они по-прежнему представляют собой нишу, альтернативные решения NVIDIA вскоре будут составлять 40% рынка.

Красная шляпа он хочет быть готовым к этому моменту и заключил партнерские отношения с AWS, чтобы ускорить вычисления платформы. Красная шляпа ИИ именно с чипами, разработанными Amazon.

Red Hat и AWS объединяют усилия в области искусственного интеллекта

Ключевые аспекты сотрудничества Red Hat и AWS касаются в первую очередь запуск Red Hat AI Inference Server на базе vLLM на чипах AWS, включая AWS Inferentia2 и AWS Trainium3. Это обеспечивает общий уровень вывода, который поддерживает любую генеративную модель искусственного интеллекта, позволяя клиентам достигать более высокой производительности, меньшей задержки и большей экономической эффективности при масштабировании производственных развертываний искусственного интеллекта при цене/производительности на 30–40 % ниже, чем текущие сопоставимые экземпляры Amazon EC2 на базе графического процессора.

Второй элемент касается интеграции ИИ в Red Hat OpenShift.. Red Hat работала с AWS над разработкой оператора AWS Neuron для Red Hat OpenShift, Red Hat OpenShift AI и Red Hat OpenShift Service на AWS, полной, полностью управляемой платформы приложений на AWS. Это позволяет клиентам иметь более удобный, поддерживаемый и интегрированный путь для выполнения рабочих нагрузок ИИ с использованием ускорителей AWS.

Сотрудничество также направлено на упрощение доступа и реализации. Благодаря поддержке чипов AWS AI Red Hat предоставит клиентам, использующим Red Hat на AWS, более прямой и беспрепятственный доступ к высокопроизводительным востребованным ускорителям.. Параллельно Red Hat предоставила сертифицированное amazon.ai решение Ansible для платформы Red Hat Ansible Automation Platform, которое позволяет автоматически управлять службами ИИ на AWS. Наконец, важным моментом является вклад в развитие сообщества, занимающегося разведкой и добычей полезных ископаемых. Red Hat и AWS совместно работают над оптимизацией плагина, предназначенного для процессоров искусственного интеллекта AWS, работающих на vLLM. Будучи крупнейшим коммерческим участником vLLM, Red Hat стремится сделать его полностью доступным на AWS, чтобы ускорить как получение логических выводов, так и обучение моделей ИИ. vLLM также является движком llm-d, проекта с открытым исходным кодом, предназначенного для обеспечения крупномасштабных выводов и теперь доступного в качестве коммерчески поддерживаемой функции в Red Hat OpenShift AI.

“Включив наш сервер Red Hat AI Inference корпоративного уровня на основе инновационной инфраструктуры vLLM с чипами AWS AI, мы даем предприятиям возможность развертывать и масштабировать рабочие нагрузки искусственного интеллекта с большей эффективностью и гибкостью.“, – комментирует он Джо Фернандесвице-президент и генеральный директор AI Business Unit в Red Hat. «Основываясь на наследии Red Hat с открытым исходным кодом, это сотрудничество направлено на то, чтобы сделать генеративный искусственный интеллект более доступным и доступным в гибридных облачных средах.».

«Предприятиям нужны решения, которые обеспечивают исключительную производительность, экономическую эффективность и операционный выбор для критически важных рабочих нагрузок искусственного интеллекта.“, – заявляет он Колин Брейсвице-президент Annapurna Labs в AWS. «AWS разработала чипы Trainium и Inferentia, чтобы сделать высокопроизводительные выводы и обучение ИИ более доступными и экономичными. Наше сотрудничество с Red Hat предоставляет клиентам поддерживаемый путь для масштабного развертывания genAI, сочетая гибкость открытого исходного кода с инфраструктурой AWS и специально созданными ускорителями искусственного интеллекта для ускорения окупаемости инвестиций от пилотного проекта до промышленного производства.».