Huawei представила платформу OceanStor M900, спроектированную для работы с KV-кешем в крупномасштабных дата-центрах. Новинка позволяет решить проблему нехватки DRAM, которая создает «бутылочное горлышко» в современных ИИ-кластерах.
Отмечается, что в настоящее время в сфере ИИ наблюдается переход от технологических экспериментов к широкомасштабному внедрению. Приложения ИИ эволюционировали от чат-ботов до агентов, способных автономно выполнять сложные задачи. Большие языковые модели (LLM) нового поколения могут насчитывать до 10 трлн параметров. Современные системы с огромными контекстными окнами (более 1 млн токенов) и многошаговые ИИ-агенты генерируют колоссальные объёмы KV-кеша, для обработки которого ресурсов HBM и DRAM недостаточно. Платформа OceanStor M900 помогает преодолеть эти ограничения путём использования высокоскоростных SSD.
По заявлениям Huawei, в OceanStor M900 впервые в отрасли применена передовая архитектура, объединяющая CPU, сетевой контроллер и контроллер NAND. Она обеспечивает собственную KV-семантику для одношагового соединения ИИ-ускорителей в составе узлов SuperPoD с твердотельными накопителями. Это устраняет необходимость применения различных протоколов, благодаря чему задержка доступа сокращается на 90 % по сравнению с традиционными подходами — с нескольких миллисекунд до 60 мкс. Один кластер обеспечивает суммарную пропускную способность до 40 Тбайт/с, что в 1,5 раза выше, чем у существующих решений. При этом объём памяти, доступной для каждого нейропроцессора (NPU), увеличивается с гигабайт до терабайт.
Источник изображения: Huawei
Платформа OceanStor M900 использует высокоскоростной интерконнект UnifiedBus. Общая вместимость может достигать 64 Пбайт. В системе реализована технология адаптивного хранения (KV-Aware Adaptive Storage), которая прогнозирует жизненный цикл KV-кеша и перераспределяет нагрузку между SSD для достижения максимальной эффективности и надёжности. В результате, показатель DWPD (полных перезаписей в сутки) для установленных SSD поднимается до 24, что в 16 раз превосходит обычные значения. Благодаря этому значительно снижаются расходы на эксплуатацию, поскольку сокращается необходимость в замене дорогостоящих накопителей.
В целом, OceanStor M900 позволяет раскрыть вычислительную мощность SuperPoD-устройств, ресурсы которых в противном случае могут простаивать из-за нехватки памяти для работы с KV-кешем.
Источник: servernews.ru