Вероятно, у вас уже есть компьютер с искусственным интеллектом.
В последние несколько месяцев Intel и производители ПК громко били в барабан ПК с искусственным интеллектом, совместно с AMD, Intel и Qualcomm. Ни для кого не секрет, что «ИИ» — это новая «метавселенная», и как руководители, так и инвесторы хотят использовать ИИ для увеличения продаж и цен на акции.
И это правда, что ИИ действительно зависит от NPU, имеющихся в таких чипах, как Intel Core Ultra, бренд, который Intel позиционирует как синоним встроенного ИИ. То же самое касается серии AMD Ryzen 8000, которая обогнала Intel на настольных компьютерах с NPU, а также Qualcomm Snapdragon X Elite.
Просто интегрированные NPU, имеющиеся сейчас в Core Ultra (Meteor Lake, но с Lunar Lake, ожидающим своего часа), не играют той огромной роли в вычислениях ИИ, как их позиционируют. Вместо этого более традиционные роли вычислительных мощностей (ЦП и особенно графический процессор) вносят больший вклад в выполнение задачи.
Важно отметить несколько вещей: во-первых, абсолютно каждый сталкивается с проблемой сравнительного анализа производительности ИИ. «ИИ» состоит из довольно разных задач: генерация изображений, например, с использованием стабильной диффузии; модели большого языка (LLM), чат-боты, популяризированные (облачными) Microsoft Copilot и Google Bard; а также множество улучшений для конкретных приложений, таких как улучшения искусственного интеллекта в Adobe Premiere и Lightroom. Объедините многочисленные переменные только в LLM (фреймворки, модели и квантование, каждая из которых влияет на то, как чат-боты будут работать на ПК) и шаг при котором эти переменные колеблются, и очень сложно выбрать победителя — и на более чем момент времени.
Однако следующий момент мы можем сказать с некоторой уверенностью: бенчмаркинг работает лучше всего, когда вы исключаете как можно больше переменных. И это то, что мы можем сделать с помощью одной маленькой части головоломки: насколько процессор, графический процессор и NPU Intel участвуют в вычислениях ИИ, выполняемых чипом Intel Core Ultra, Meteor Lake.
Тестовый стенд Intel Meteor Lake от MSI.
Марк Хэчман / IDG
NPU сейчас не является двигателем встроенного ИИ. Графический процессор
Мы не пытаемся определить, насколько хорошо Meteor Lake работает в области искусственного интеллекта. Но что мы можем сделать, так это проверить на практике, насколько важен NPU для ИИ.
Конкретный тест, который мы используем, — это тест UL Procyon AI, который вычисляет, насколько эффективно работает процессор при обработке различных больших языковых моделей. В частности, это позволяет тестировщику разобрать его, сравнивая ЦП, графический процессор и NPU.
В данном случае мы тестировали процессор Core Ultra 7 165H внутри ноутбука MSI, предоставленного для тестирования во время дня тестирования Intel на выставке CES 2024. (Большая часть моего времени была потрачена на интервью с Дэном Роджерсом из Intel, но мне удалось получить некоторые тесты в .) Procyon запускает LLM поверх процессора и вычисляет оценку на основе производительности, задержки и т. д.
Без лишних слов, вот цифры:
- Процион (OpenVINO) NPU: 356
- Графический процессор Procyon (OpenVINO): 552
- Процион (OpenVINO): ЦП: 196
Испытания Проциона доказали несколько моментов: во-первых, NPU действительно имеет значение; по сравнению с ядрами производительности и эффективности в других частях ЦП, NPU сам по себе превосходит его на 82 процента. Но производительность искусственного интеллекта графического процессора составляет 182 процента от производительности центрального процессора и превосходит NPU на 55 процентов.
Подробные результаты теста вывода Procyon NPU для Core 7 Ultra 165H.
Марк Хэчман / IDG
Другими словами: если вы цените искусственный интеллект, сначала купите большую, мощную видеокарту или графический процессор.
Но второй момент менее очевиден: да, вы может запускайте приложения искусственного интеллекта на процессоре или графическом процессоре без необходимости использования специального логического блока искусственного интеллекта. Все тесты Procyon показывают, что некоторые блоки более эффективны, чем другие.
Что говорит Intel (и, честно говоря, имеет Я уже говорил) заключается в том, что NPU более эффективен. В реальном мире «эффективность» — это код производителя микросхем для «длительного времени автономной работы». В то же время Intel попыталась подчеркнуть, что CPU, GPU и NPU могут работать вместе.
Intel уже давно заявила об этом, говоря о том, как различные части Meteor Lake могут работать вместе, например, в Stable Diffusion.
Интел
В этом случае эффективность NPU приравнивается к приложениям искусственного интеллекта, которые работают с течением времени и, вероятно, от батареи. И лучшим примером этого является продолжительный звонок Microsoft Teams из глубины гостиничного номера или конференц-центра (прямо как на выставке CES!), где ИИ используется для фильтрации шума и фоновой активности.
Обычно приложения для искусственного интеллекта, такие как Stable Diffusion, сначала запускаются как способ создания локального искусства искусственного интеллекта, используя мощность вашего графического процессора и массу доступной видеопамяти. Но со временем приложения ИИ стали работать на менее мощных конфигурациях, в том числе в основном на процессоре. Это знакомая метафора; вы не собираетесь запускать игру с интенсивным использованием графики, например Крайзис ну, на интегрированном оборудовании, но оно должно работать — просто очень, очень медленно. LLM/чат-боты с искусственным интеллектом будут делать то же самое, долго «думая» над своими ответами, а затем очень медленно «печатая» их. LLM, которые могут работать на графическом процессоре, будут работать лучше, а облачные решения будут намного быстрее.
Однако ИИ будет развиваться
Интересно также, что (на момент написания этой статьи) приложение UL Procyon распознает процессор и графический процессор в процессоре AMD Ryzen Ryzen 7040 с искусственным интеллектом, но нет НПУ. Мы находимся на заре развития искусственного интеллекта, когда даже базовые возможности самих чипов не распознаются приложениями, предназначенными для их использования. Это еще больше усложняет тестирование.
Однако дело в том, что вам не нужен NPU для запуска искусственного интеллекта на вашем ПК, особенно если у вас уже есть игровой ноутбук или настольный компьютер. Было бы приятно иметь NPU от AMD, Intel и Qualcomm, но они также не являются обязательными.
Мишель Джонстон Холтхаус из Intel, руководитель группы клиентских вычислений, держит образец Lunar Lake, который в настоящее время передается партнерам Intel по ПК.
Марк Хэчман / IDG
Однако так будет не всегда. Intel обещает, что NPU в грядущем чипе Lunar Lake, который выйдет в конце этого года, будет иметь в три раза большую производительность NPU. Это ничего не говорит о производительности процессора или графического процессора. Вполне возможно, что со временем производительность NPU в различных чипах ПК вырастет настолько, что производительность их искусственного интеллекта станет совершенно непропорциональной по сравнению с другими частями чипа. А если нет, то множество стартапов по производству чипов-ускорителей искусственного интеллекта планируют стать 3Dfx в мире искусственного интеллекта.
Однако сейчас мы здесь, чтобы сделать глубокий вдох, когда наступит 2024 год. Новые ПК с искусственным интеллектом имеют значение, как и новые NPU. Но потребителей, вероятно, не будет так сильно волновать, как производителей чипов, то, что искусственный интеллект работает на их ПК, а не в облаке, независимо от того, насколько громка шумиха. А для тех, кого это волнует, NPU — это всего лишь часть общего решения.
2024-01-11 20:55:00
1705008601
#Проверка #реальности #ИИ #новые #NPU #не #так #важны #как #вы #думаете