Компания Groq, базирующаяся в Калифорнии, представила собственный ИИ-ускоритель LPU Inference Engine, который превзошел всех конкурентов в публичных тестах. Этот языковой процессор, разработанный для улучшения скорости обработки сложных вычислительных приложений, таких как модели с большим языковым объемом (LLM), позволяет генерировать текст гораздо быстрее.
Специальный чип LPU преодолевает проблемы плотности вычислений и пропускной способности памяти, повышая скорость обработки. Этот процессор является ключевой частью инферентного двигателя компании, предоставляя ответы на запросы конечного пользователя с максимальным количеством слов для мгновенных ответов.
В тестах, проведенных независимыми экспертами, LPU Inference Engine Groq показал лучшие результаты по таким параметрам, как общее время ответа, пропускная способность во времени, вариация пропускной способности и латентность по отношению к пропускной способности. В сравнении с ведущими облачными провайдерами, Groq обошел их в скорости.
Источник: www.ferra.ru
Похожие новости:
Groq LPU способен успешно конкурировать с ускорителями NVIDIA, AMD и Intel
Крупнейший в мире центр ИИ появится благодаря совместным усилиям Aramco Digital и Groq
Экс-глава подразделения Radeon в AMD обвинил NVIDIA в картельном сговоре
Snapdragon X Elite с огромным отрывом превосходит Core Ultra 7 155H в тестах производительности ИИ