Компания Arm раскрыла дополнительные подробности о процессорах AGI, официальная презентация которых состоялась в марте нынешнего года. Эти чипы предназначены для использования в дата-центрах, ориентированных на ИИ-нагрузки. Чипы выполнены на платформе Arm Neoverse CSS V3. Конструкция включает два чиплета, каждый из которых насчитывает свыше 50 млрд транзисторов. При производстве применяется технология TSMC N3P (3 нм).
Процессоры AGI будут предлагаться в модификациях с 64, 128 и 136 ядрами Armv9.2, распределёнными между двумя чиплетами. Номинальная тактовая частота составляет 3,2 ГГц, частота с ускорением — до 3,7 ГГц. Каждое ядро содержит 2 Мбайт кеша L2 (от 128 до 272 Мбайт на чип) и два 128-бит блока SVE2, предназначенных для ускорения задач ИИ и машинного обучения. Поддерживаются форматы BF16 и INT8. Общий объём кеша на уровне системы (SLC) равен 128 Мбайт.
Источник изображений: Arm
Каждый из чиплетов содержит шесть каналов оперативной памяти (12 на процессор) с поддержкой 3 Тбайт DDR5-8800 (6 Тбайт на процессор). Суммарная пропускная способность памяти достигает 845 Гбайт/с, пропускная способность в пересчёте на ядро — от 6 до 13 Гбайт/с в зависимости от их количества.
В то время как AMD, Intel и NVIDIA используют гетерогенный многочиплетный подход для увеличения вычислительных мощностей и повышения производительности, решение Arm основано на сочетании высокой пропускной способности памяти и небольшой задержки (менее 100 нс). Благодаря отсутствию необходимости передачи данных на отдельный чиплет с контроллером памяти повышается быстродействие в задачах, чувствительных к задержкам. Внутри каждого чиплета AGI используется интерконнект CMN-S3 с топологией 8 × 9, которая связывает вычислительные ядра, память, IO-блоки и ускорители. Упомянуты фильтрация запросов к памяти (snoop filtering) и иерархическое кеширование на основе HN-S (Super Home Node) — логического блока, выполняющего функции распределительного центра. Он управляет трафиком и данными внутри чипа, чтобы ускорить обмен информацией.
Если CPU-ядру требуется обратиться к памяти на другом чиплете, запрос передаётся по когерентному межчиповому интерконнекту, но при этом задержка увеличивается. Контроллеры DDR5 поддерживают ряд функций для достижения максимальной производительности в реальных рабочих нагрузках, включая полностью внеочередное планирование команд, оптимизированное отображение адресов и программируемые политики страничной адресации. Кроме того, реализован контроль и мониторинг пропускной способности памяти на основе технологии Memory Partitioning and Monitoring (MPAM). В сочетании с приоритизацией (QoS) и обратной связью о перегрузках это позволяет управлять конфликтами, когда множеству ядер и IO-устройствам требуется пропускная способность DRAM.
Процессор имеет 96 линий PCIe 6.0 с поддержкой CXL 3.0, четыре линии PCIe 4.0, а также интерфейсы I3C, I2C и SPI. Показатель TDP находится на уровне 300 Вт. Архитектура изделия рассчитана на стандартные воздушные системы охлаждения и позволяет эффективно использовать доступный лимит мощности. Утверждается, что в стандартной стойке на 36 кВт могут быть задействованы до 8160 вычислительных ядер AGI.
В целом, решения AGI оптимизированы под сценарии, в которых CPU берёт на себя значительную часть ИИ-нагрузки. Это могут быть задачи инференса, координация вычислений в гетерогенных средах (CPU + GPU/TPU и т. п.), оркестрация ИИ-агентов и т. д. Реализована встроена аппаратная защита для мультитенантных сред: Runtime Security Engine (RSE), Pointer Authentication, Branch Target Identification.
Источник: servernews.ru