При работе с растущими ИИ-моделями даже сверхбыстрая память может стать узким местом, если ее просто не хватает. По данным южнокорейского издания ZDNet Korea, Groq, недавно вошедшая в орбиту NVIDIA, планирует изменить подход к памяти в своих следующих ускорителях и перейти от SRAM к трехмерной компоновке DRAM.
Нынешние Groq LPU делают ставку на скорость: каждый чип оснащен 500 МБ SRAM с пропускной способностью до 150 ТБ/с. В стойке из 256 ускорителей суммарный объем такой памяти достигает 128 ГБ, а пропускная способность масштабируется до 640 ТБ/с. Однако SRAM занимает много места и обходится дорого, поэтому наращивать ее объем по мере роста ИИ-моделей становится все сложнее.
В следующем поколении Groq, как утверждает источник, собирается использовать 3D-стековую DRAM. Несколько слоев памяти будут размещаться друг над другом и соединяться вертикальными каналами TSV. Подобный подход применяется в HBM и позволяет эффективнее использовать площадь чипа, а также потенциально улучшить энергоэффективность. Обратная сторона — более низкая скорость по сравнению с SRAM, поэтому разработчикам предстоит найти баланс между объемом памяти и пропускной способностью.
Для NVIDIA это может стать важным направлением развития инфраструктуры ИИ-инференса. Компания уже использует решения Groq в экосистеме Vera Rubin, а увеличение доступной памяти способно помочь при работе с моделями, которым требуется все больше ресурсов. При этом, судя по имеющейся информации, Groq может сохранить SRAM и DRAM как отдельные варианты для разных задач. Официальных подробностей о конфигурации будущих чипов пока нет, поэтому характеристики и сроки выхода еще предстоит узнать.
Источник: www.goha.ru