Microsoft представила Azure Maia 300 — кастомный ИИ-ускоритель третьего поколения. По словам компании, это полноценная интеллектуальная система, созданная для новых типов ИИ-задач: обработки длинных контекстов, диалогового взаимодействия с жёсткими требованиями к задержке и выполнения длительных многоэтапных задач с использованием автономных агентов. Эффективность обработки таких задач достигается благодаря балансу между вычислительной мощностью, пропускной способностью памяти (ПСП), сетевыми возможностями и энергоэффективностью в масштабах облака.
Благодаря повышению общей эффективности системы, Maia 300, по прогнозам компании, будет обрабатывать на 40 % больше токенов на мегаватт мощности по сравнению с ведущими системами на базе GPU. А в максимальной конфигурации с 96 ускорителями пропускная способность обработки токенов на уровне стойки будет всемеро выше, чем у Maia 200.
Источник изображений: Microsoft
Microsoft утверждает, что Maia 300 обеспечивает лучшую в отрасли ПСП/Вт для HBM, примерно вдвое выше в сравнении с Maia 200. Восемь стеков с 288 Гбайт HBM4 поддерживают пиковую ПСП 18,0 Тбайт/с при TDP 950 Вт, что позволяет эффективно запускать крупные модели и обрабатывать задачи с большим контекстом. А встроенную SRAM можно использовать в качестве программно-управляемой буферной памяти (scratchpad), снижая нагрузку на HBM. Это позволяет размещать больше данных модели и KV-кеша в непосредственной близости от вычислительных блоков.
Новая архитектура на базе чиплетов разделяет функции вычислений, управления памятью и I/O, что улучшает эффективность, масштабируемость и экономические показатели. Вычислительные чиплеты производятся по техпроцессу TSMC N2P. Они дополнены интерфейсом PCIe 6.0 x16 и 32 интерфейсами 400GbE, которые используются в качестве основного интерконнекта для связи между ускорителями.
Чип поддерживает форматы с низкой точностью вычислений, такие как улучшенная версия MXFP4. Благодаря этому для хранения KV-кеша требуется меньше памяти, что позволяет увеличить размер контекстного окна. FP4-производительность Maia 300 составляет более 13,8 Пфлопс (у Maia 200 — 10,1 Пфлопс), в FP8-вычислениях — 6,9 Пфлопс (у Maia 200 — 5,1 Пфлопс). Одна стойка вмещает 96 ускорителей и потребляет 167 кВт. В совокупности они обеспечивают 27,6 Тбайт памяти HBM с агрегированной ПСП 1,7 Пбайт/с. Для сравнения: стойки NVIDIA GB300 вмещают 72 ускорителя и потребляют около 142 кВт, сообщает Reuters.
Ускорители распределены по 24 узлам, по четыре ускорителя в каждом; это вдвое увеличивает плотность размещения по сравнению с Maia 200. Каждый узел также включает хост-процессор, системную память, хранилище и систему охлаждения. Отказ от использования отдельных узлов для хост-процессоров позволяет высвободить место в стойке и управлять ресурсами питания и охлаждения как единой системой.
Шесть специализированных ASIC коммутации с высокой плотностью портов (high-radix) интегрированы в три модуля с жидкостным охлаждением. Это обеспечивает необходимые внутристоечные соединения для всех 96 ускорителей, минимизируя при этом занимаемое пространство и энергопотребление системы коммутации. Интерконнект оптимизирован для тензорного параллелизм, использует собственный протокол (на базе Ethernet) и позволяет легко масштабировать инфраструктуру от одной стойки до целого ЦОД.
Двухуровневая сеть (scale-up) позволяет создать высокопроизводительный кластер (super pod), объединяющий до 12 288 ускорителей. Для ПО Maia представляет единую модель коммуникации: одни и те же семантические принципы используются для прямой передачи данных любому ускорителю в пределах кластера. Ускорители Maia могут напрямую инициировать обмен данными с любым ускорителем в кластера без участия хост-процессора или отдельного NIC для горизонтального масштабирования (scale-out).
СЖО отводит более 80 % тепловой нагрузки стойки (от ускорителей, VRM и ASIC коммутаторов), в то время как воздушное охлаждение используется для модулей памяти, накопителей и других вспомогательных компонентов. Стойка Maia 300 может подключаться непосредственно к системе водообеспечения объекта (при её наличии) или использовать теплообменики в дата-центрах с воздушным охлаждением. Это обеспечивает большую гибкость в выборе мест и способов масштабного развёртывания системы.
Такая плотность позволяет Microsoft обрабатывать больше одновременных запросов ИИ и выполнять более масштабные задачи на каждой стойке, повышая общую мощность дата-центра и улучшая экономическую эффективность расширения ИИ-сервисов. И если прошлые поколения Maia не смогли полноценно заменить системы NVIDIA, то 300 Microsoft планирует масштабировать инфраструктуру Azure с Maia 300 до нескольких гигаватт, начиная с 2027 года, сделав новинки основной платформой для инференса в продуктах и сервисах компании.
Источник: servernews.ru