d-Matrix анонсировала d-Matrix Squadron — вычислительный комплекс из многостоечных систем, обеспечивающий мощность порядка мегаватт для выполнения задач ИИ-инференса. По словам компании, благодаря вычислительной архитектуре d-Matrix, ориентированной на работу с памятью (memory-centric), кластеры Squadron идеально подходят для исследовательских лабораторий в сфере ИИ, корпораций и государственных организаций. Они оптимальны для приложений, критически чувствительных к задержкам, включая инструменты для написания кода, персональных ИИ-агентов, системы кибербезопасности и платформы для высокочастотного трейдинга (HFT).
Система Squadron, разработанная в партнёрстве с компаниями Arista, Broadcom и Supermicro, уже задействована в дата-центре d-Matrix в Аризоне для внутренних исследований и разработок. Компания начала её поставки приоритетным клиентам для внедрения в их ЦОД. Кроме того, в свободную продажу поступили отдельные компоненты системы: серверы и стойки d-Matrix Corsair SquadRack.
Источник изображения: d-Matrix
Система Squadron предлагается в различных конфигурациях: от отдельных стоек d-SquadRack (в каждой — восемь серверов) до полномасштабных интегрированных вычислительных кластеров, включающих до 1024 ускорителей Corsair. Кластеры объединяются в единую сеть с помощью 400G-адаптеров JetStream, а ПО d-Matrix Aviator упрощает их развёртывание. Поскольку кластеры Squadron используют воздушное охлаждение и созданы на базе отраслевых стандартов, заказчики могут интегрировать их в уже существующие ЦОД без необходимости внедрения СЖО или реконструкции инфраструктуры.
Кластеры Squadron, оптимизированные для быстрого и эффективного развёртывания ИИ-систем, способны обеспечиваать работу моделей исключительно на чипах Corsair. Они рассчитаны на работу в гетерогенных средах с использованием дезагрегированных вычислений.
Генеральный директор и соучредитель d-Matrix сообщил, что компания успешно реализовала технологию дезагрегации Attention-FFN (AFD), используя собственную систему Squadron в связке с серверами на базе GPU. При переносе вычислений компонентов Experts/FFN на стойки Corsair гетерогенная система обеспечила генерацию 845 т/с на одного пользователя. При одновременной работе 64 пользователей такая гетерогенная конфигурация с поддержкой AFD продемонстрировала общую пропускную способность 20 415 т/с. d-Matrix уверяет, что первой в отрасли продемонстрировала реализацию концепции AFD на реальном «железе», доступном уже сегодня.
Источник: servernews.ru