Vera Rubin NVL72 в облаке CoreWeave показала пропускную способность по токенам до 4,8 раза выше, чем GB200

CoreWeave объявила о доступности систем NVIDIA Vera Rubin NVL72 в CoreWeave Cloud для клиентов с ранним доступом. В ранних тестах Cognition на задачах вывода SWE-2 пропускная способность по токенам оказалась до 4,8 раза выше, чем у GB200 NVL72. Это результат конкретного теста, а не показатель для любой нагрузки.

Вместе с Vera Rubin NVL72 CoreWeave внедрила сетевое оборудование Spectrum-X 102.4T Ethernet. Управлять ресурсами системы в облаке можно через CoreWeave Kubernetes Service, SUNK (сервис управления), Mission Control, Sandboxes и Inference.

Cognition сравнила Vera Rubin NVL72 с GB200 NVL72 на задачах программной разработки, отобранных из набора FrontierCode. В этих ранних тестах компания использовала ИИ-агентов, которым поручили решать такие задачи.

Сравнение производительности Vera Rubin NVL72 и GB200 NVL72

Сравнение производительности Vera Rubin NVL72 и GB200 NVL72

По данным NVIDIA, для Devin такой прирост означает более быструю генерацию кода в реальном времени и более быстрый отклик при многошаговых рассуждениях. Производственный кластер Vera Rubin для Cognition CoreWeave развернула через несколько дней после получения первых стоек.

Сайлас Альберти (Silas Alberti), представитель основательской команды Cognition, объяснил, почему для компании важна производительность на таких задачах.

Агентное программирование — сложная нагрузка: длинные контексты, высокая параллельность и такие объёмы токенов, что стоимость токена определяет, что мы можем выпустить. Для нас важнее иметь всё это на одной платформе и работать с инженерами NVIDIA и CoreWeave над сложными задачами, чем получить какой-то один показатель.

— Сайлас Альберти, представитель основательской команды Cognition

За девять месяцев Cognition нарастила парк используемых в CoreWeave графических процессоров до нескольких тысяч. В одной стойке конфигурации CoreWeave с процессорами Vera — 128 процессоров и 11 264 ядра, рассчитанных более чем на 11 000 одновременных сред. В тесте Terminal-Bench CoreWeave зафиксировала на процессорах Vera прирост производительности в 1,7 раза на всех успешно выполненных заданиях.

Насколько показатель до 4,8 раза на тестах SWE-2 важен для оценки реальной пользы Vera Rubin NVL72 в облаке?

НовостиЖелезо и технологииАналитика и статистикаNVIDIA

Источник: vgtimes.ru

0 0 голоса
Рейтинг новости
1
0
Подписаться
Уведомить о
0 комментариев