Дефицит оперативной памяти оказался настолько серьёзной проблемой для индустрии ИИ, что Google начала повторно использовать компоненты из старых серверов. Компания разбирает списанное оборудование и извлекает из него пригодные модули DDR4 для установки в новые серверные системы.
О необычной практике рассказал старший директор Google по инфраструктуре цепочек поставок Нихил Чериан. По его словам, ИИ-индустрия постепенно перешла от дефицита вычислительных мощностей к дефициту памяти, а высокопроизводительная память уже может составлять около 75% стоимости компонентов ИИ-сервера.
Чтобы справиться с нехваткой памяти, Google одновременно оптимизирует программное и аппаратное обеспечение. В компании даже разработали специальные адаптеры, позволяющие подключать более старые решения вроде DDR4 к новому поколению ИИ-серверов.
Более того, Google, как сообщается, специально возвращает списанные серверы для разборки и извлечения из них модулей DDR4. Таким образом, у компании фактически формируется собственная внутренняя цепочка переработки серверного оборудования.
При этом новые ИИ-системы Google изначально рассчитаны на более современную память. Например, серверы на базе TPU8i используют DDR5 для хост-процессоров Arm Axion, тогда как сами ускорители оснащаются 288 ГБ сверхбыстрой HBM3e с пропускной способностью 8,6 ТБ/с.
Параллельно Google пытается снизить зависимость от дополнительной памяти программными методами — оптимизирует библиотеки, архитектуру моделей и сжатие KV Cache.
Ситуация показывает, насколько сильно взрывной рост ИИ-нагрузок изменил рынок памяти. Ещё недавно серверное железо считалось устаревшим после нескольких поколений, а теперь даже его DDR4-модули могут оказаться настолько востребованными, что Google готова извлекать их из списанных систем и возвращать в эксплуатацию.
Источник: www.playground.ru