Грок, возглавляемый экс-Google инженер и генеральный директор Джонатан Росс утверждает, что создал первый в истории блок языковой обработки (LPU), который, по его словам, может обеспечить самую высокую скорость для приложений искусственного интеллекта.
Это смелое заявление, но последние демонстрации более чем подтверждают его, предполагая, что оно вполне может стать абсолютным переломным моментом для ИИ.
Росс, который ранее разработал тензорный процессор Google (TPU), запустил Groq в 2016 году, чтобы создать чип, способный выполнять задачи глубокого обучения более эффективно, чем существующие процессоры и графические процессоры.
Молниеносно
Tensor Stream Processor (TSP) компании можно сравнить со сборочной линией, обрабатывающей задачи обработки данных последовательным и организованным образом. Напротив, графический процессор похож на статическую рабочую станцию, куда работники приходят и уходят, чтобы выполнить этапы обработки. Эффективность TSP стала очевидной с появлением генеративного искусственного интеллекта, что побудило Росс переименовать TSP в блок языковой обработки (LPU), чтобы повысить его узнаваемость.
В отличие от графических процессоров, в LPU используется упрощенный подход, устраняющий необходимость в сложном аппаратном обеспечении планирования и обеспечивающий постоянную задержку и пропускную способность. LPU также энергоэффективны, сокращая накладные расходы на управление несколькими потоками и предотвращая недостаточное использование ядер. Масштабируемая конструкция чипа Groq позволяет связывать несколько TSP без традиционных узких мест, упрощая требования к оборудованию для крупномасштабных моделей искусственного интеллекта.
Первой общедоступной демо-версией Groq была молниеносная система ответов с искусственным интеллектом, которая генерировала ответы из сотен слов менее чем за секунду. Мэтт Шумер опубликовал тест на X и говорит, что более 3/4 времени было потрачено на поиск, а не на создание.
Первая общедоступная демонстрация с использованием Groq: молниеносная система ответов AI. Она записывает фактические, цитируемые ответы с сотнями слов менее чем за секунду. Более 3/4 времени тратится на поиск, а не на генерацию! LLM запускается доля секунды. https://t.co/dVUPyh3XGV https://t.co/mNV78XkoVB pic.twitter.com/QaDXixgSzp19 февраля 2024 г.
Хоть это и впечатляет, но наблюдать за тем, как Groq сражается лицом к лицу с Chat-GPT, — это совсем другое.
Если вы хотите попробовать Groq самостоятельно и понять, насколько быстрым он может быть для ИИ, зайдите в этот чат. страница. Используйте раскрывающийся список слева для переключения между различными доступными моделями.
Больше от TechRadar Pro
2024-02-27 19:30:58
1709065924
#По #ощущениям #как #по #волшебству #сверхбыстрый #LPU #Groq #вполне #может #стать #первым #процессором #поддерживающим #LLM #его #последняя #демонстрация #вполне #может #убедить #Nvidia #AMD #вытащить #свои #чековые #книжки
