Нидерландская Axelera AI рассказала об архитектуре Titania — ИИ-ускорителях третьего поколения, выполненных с использованием чиплетной компоновки. Архитектуру, по словам создателей, отличают высокая программируемость и энергоэффективность в сочетании с высокой производительностью. Решение вписывается в существующие ограничения по энергопотреблению и охлаждению в современных ЦОД и призвано заменить серверы с NVIDIA RTX 6000.
Titania обеспечит семикратный прирост производительности на Вт по сравнению с существующими решениями для ЦОД, обещает разработчик, а совокупная стоимость владения (TCO) сократится до 20 раз. Каждый SiP-модуль содержит два чиплета. Модули можно реализовать в различных формфакторах — от стандартных карт PCIe 6.0 x16 до плат OCP UBB, объединяющих восемь модулей Titania OAM. Клиенты подтвердили заказы на сумму более $300 млн — решения будут доступны через OEM-партнёров в составе серверов для задач инференса с поддержкой как воздушного, так и жидкостного охлаждения.
Архитектура Titania развивает концепцию вычислений в оперативной памяти (Digital In-Memory Computing — D-IMC), впервые представленную в платформе Metis и дополненную в архитектуре Europa. После встраиваемых систем и периферийных вычислений решения Axelera AI теперь охватывают масштабные задачи инференса в ЦОД. Модуль включает средства связи между ускорителями и программируемые вычислительные ядра на архитектуре RISC-V.
Источник изображения: Axelera AI
Titania предусматривает работу с доступной и недорогой памятью LPDDR вместо дефицитной HBM. На каждый модуль приходятся 128 Гбайт LPDDR6 (с пропускной способностью 2456 Гбайт/с на модуль) — это особенно актуально для разреженных MoE-моделей с большим общим числом параметров и относительно небольшим количеством активных, поэтому здесь важнее ёмкость и эффективность памяти, а не высокая пропускная способность, которая нередко остаётся невостребованной.
Чиплет содержит 32 программируемых ИИ-ядра с производительностью до 39,3 Тфлопс (FP8) каждое, а также 16 дополнительных вычислительных ядер на базе RISC-V с векторными расширениями. В наличии 128 Мбайт общей SRAM и 2 Мбайт кеша первого уровня для программируемых ИИ-ядер. За взаимодействие чиплетов отвечает отдельный блок RISC-V APU.
Эталонный сервер Titania с кодовым названием AX8 комплектуется восемью SiP-модулями, предлагает производительность 20 Пфлопс (FP8) и располагает 1 Тбайт памяти с агрегированной пропускной способностью 19,6 Тбайт/с. Всё это размещается в стандартном корпусе 4U с воздушным охлаждением при типичном энергопотреблении 5–6 кВт, что позволяет развернуть его в обычном ЦОД. Один сервер Axelera может запускать модель размером 1,6 трлн параметров (в формате FP4) с запасом памяти для KV-кеша. В качестве программных средств используются представленные ранее Voyager SDK и язык AxeleraScript (AxScript).
Плата Titania в формфакторе PCIe спроектирована как прямая замена модели Axelera Server 250p на архитектуре Europa — развёрнутые на платформе предыдущего поколения модели в 2028 году можно будет перенести на Titania без необходимости адаптировать код. Одна плата может работать с большими языковыми и мультимодальными моделями, а также с видеоданными — аппаратные блоки для декодирования (8K) и кодирования (4K) с поддержкой кодеков H.264, H.265, VP9 и AV1 снимают нагрузку с хост-системы. Серийное производство ускорителей на архитектуре Titania стартует в III квартале 2027 года.
Источник: servernews.ru