Удорожание и дефицит полупроводниковой памяти внесли серьезные коррективы в архитектурное планирование крупнейших облачных провайдеров. На недавнем саммите Нихил Черян, старший директор по инфраструктуре цепочек поставок Google, заявил, что основным узким местом ИИ-инфраструктуры окончательно стала память (как неожиданно). Если ранее производительность системы упиралась преимущественно в вычислительную мощность чипов, то сегодня подсистемы памяти формируют порядка 75% стоимости комплектующих современного AI-сервера.
Чтобы снизить капитальные затраты и обойти логистические ограничения, Google развернула внутреннюю систему «вторичной переработки» вычислительных узлов. Компания извлекает модули оперативной памяти стандарта DDR4 из списанных серверов предыдущих поколений и повторно интегрирует их в актуальную ИИ-инфраструктуру.
Архитектура подсистемы памяти в ускорителях TPU8i
В 2026 году Google представила два варианта специализированных интегральных схем (ASIC) собственного производства: TPU8t, оптимизированный для обучения моделей, и TPU8i, спроектированный для инференса.
Процессоры Google: TPU 8t и TPU 8i. Источник.
Подсистема памяти узла на базе TPU8i спроектирована по многоуровневому принципу. Каждая интегральная схема TPU8i оснащается 288 ГБ высокоскоростной памяти HBM3e с пропускной способностью до 8,6 ТБ/с, которая необходима для быстрой загрузки весов нейросетей. Непосредственно на кристалле ускорителя расположено 384 МБ памяти SRAM, выделенной в том числе под хранение активного KV-кеша, что исключает лишние обращения к внешним шинам при декодировании.
За предварительную обработку данных, сетевой стек и операции ввода-вывода отвечают хост-процессоры Google Axion™ на базе архитектуры Arm. Изначально эта платформа проектировалась с расчетом на стандарт DDR5, однако экономическое давление и дефицит DRAM вынудили инженеров адаптировать архитектуру под повторное использование DDR4.
Снижайте расходы до 80% в облачных серверах Selectel
Подключите прерываемые ВМ и функцию «Заморозка» в панели управления.
Подробнее →
Аппаратные адаптеры и оптимизация ПО
Физические и электрические спецификации стандартов DDR4 и DDR5 принципиально различаются, включая разводку сигналов, рабочее напряжение и расположение контроллера питания. Из-за этих ограничений прямой монтаж модулей предыдущего поколения в современные материнские платы невозможен. Для решения проблемы инженеры Google разработали специализированные аппаратные адаптеры-конвертеры. Платы-переходники позволяют подключать имеющиеся на складах модули RDIMM DDR4 напрямую к шинам современных хост-платформ.
Параллельно с аппаратным адаптингом компания оптимизирует программную часть. В рамках этой работы инженеры перерабатывают системное ПО хост-платформы для минимизации задержек памяти, а также внедряют эффективные алгоритмы сжатия и стриминга данных, чтобы медленный обмен с DDR4 не тормозил обработку длинных запросов и больших объёмов контекста на ускорителях.
Использование б/у модулей DDR4 в хост-сегменте позволяет высвободить значительную часть бюджета под закупку дорогостоящих стеков HBM3e, критически важных для работы чипов TPU8i, не жертвуя при этом общей стабильностью и производительностью вычислительных кластеров.
Источник: habr.com