Marvell анонсировала набор CXL-продуктов, призванных решить проблему дефицита памяти в системах, ориентированных на ресурсоёмкие ИИ-нагрузки. В частности, дебютировали специализированные контроллеры расширения памяти Structera X, чипы-ускорители Structera A и коммутаторы Structera S.
Платформа Structera X оптимизирована специально для развёртывания на площадках гиперскейлеров. Изделия, как отмечается, разработаны в партнёрстве с ведущими мировыми компаниями в сфере облачных вычислений. В данное семейство вошли чипы Structera X 2404 и Structera X 2504, предназначенные для работы с памятью DDR4 и DDR5 соответственно.
В свою очередь, решения Structera A предназначены для организации вычислений вблизи памяти (near-memory). В частности, представлен чип Structera A 2504, который объединяет 16 ядер Arm Neoverse V2, работающих на частоте 3,2 ГГц. Изделие поддерживает до 4 Тбайт памяти с пропускной способностью до 200 Гбайт/с, сжатие LZ4 и 256-бит шифрование XTS-AES. Чип позволяет снять часть нагрузки с CPU сервера, беря на себя такие задачи, как ИИ-инференс, обслуживание моделей рекомендаций на основе глубокого обучения (DLRM), векторный поиск и запуск резидентных баз данны. Вместе решения Structera X и Structera A предоставляют крупным компаниям комплексный инструментарий для масштабирования и оптимизации памяти в условиях дезагрегированной инфраструктуры ИИ.
Источник изображения: Marvell
Наконец, в серию Structera S вошло устройство 30260 — это коммутатор PCIe 6.0 / CXL 3.x на 260 линий, который позволяет подключать до 16 или 32 CPU или GPU к общему пулу памяти объёмом до 48 Тбайт. При этом обеспечивается суммарная пропускная способность до 4 Тбайт/с, тогда как задержки составляют менее 460 нс. Говорится о совместимости с памятью DDR4 и DDR5. По заявлениям Marvell, Structera S демонстрирует до 16 раз лучшую масштабируемость по сравнению с локальной памятью и на 72 % меньшую задержку, чем при использовании пула на основе RDMA. В конфигурациях на базе GPU достигается до 4,8 раза более высокая пропускная способность при инференсе, тогда как время до получения первого токена сокращается на 82,7 %.
Источник: servernews.ru