SambaNova в рамках следующего этапа сотрудничества с Intel анонсировала гетерогенное аппаратное решение, которое объединяет GPU, процессоры Intel Xeon 6 и RDU SambaNova для инференса для «самых требовательных» приложений агентного ИИ. Новинка вместе с полным ИИ-стеком станет доступна во II половине 2026 года. Компании также планируют развернуть облачную ИИ-платформу.
В данном решении GPU отвечают за высокопараллельную фазу предварительного заполнения, эффективно преобразуя длинные запросы в KV-кеши, а RDU SambaNova обеспечивают высокопроизводительное декодирование с низкой задержкой. Xeon функционируют как хост-процессор для управления системой, координации задач агентного ИИ, распределения рабочей нагрузки, обработку API и т.д. Xeon также отвечает за компиляцию и запуск кода, он же проверяет результаты.
Источник изображений: Sambanova
По результатам измерений SambaNova, Xeon 6 обеспечивает более чем на 50 % более быстрое время компиляции LLVM по сравнению с серверными процессорами на базе Arm и до 70 % более высокую производительность векторных баз данных по сравнению с доступными решениями на базе x86. Это ускоряет создание агентов, позволяя разработчикам быстрее переходить от идеи к реализации, говорят компании.
Как отметил ресурс Data Center Dynamics, это объявление было сделано спустя месяц после того, как SambaNova представила чип SN50 для рабочих нагрузок агентного ИИ, который, по утверждению компании, в пять раз быстрее конкурентов и втрое выгоднее с точки зрения TCO. Тогда же SambaNova также объявила о «многолетнем стратегическом сотрудничестве» с Intel для предоставления «высокопроизводительных и экономически эффективных решений для ИИ-инференса для компаний, занимающихся разработкой ИИ, поставщиков моделей, предприятий и государственных организаций по всему миру».
Ранее Intel анонсировала похожую гибридную систему на базе собственных ускорителей Habana Gaudi3 и NVIDIA B200. Такого же подхода с распределением этапов инференса по разным чипам придерживается и NVIDIA в кластерах Vera Rubin, дополненных LPU Groq (вместо Rubin CPX). Основное различие между подходом Intel с SambaNova и подходом NVIDIA в том, что первый ориентируется на «более безопасный» вариант, поскольку не требует сложной базовой инфраструктуры для дезагрегированного инференса. Для заказчиков, ищущих более модульное решение стоечного масштаба, ориентированное на разделение «предварительное заполнение + декодирование», вариант Intel + SambaNova может быть более привлекательным.
Источник: servernews.ru