Samsung заявила о цели увеличить скорость отклика ИИ-систем в десять раз благодаря новой памяти zHBM. Разработка, по сообщению ITHome, предполагает вертикальную интеграцию чипов непосредственно в ИИ-ускорители для минимизации задержек. Инженеры компании собираются повысить скорость обработки данных до 1000 токенов в секунду на одного пользователя, для чего будет использована архитектура, при которой память располагается прямо над вычислительным блоком. Руководитель направления Ким Ин Дон (Kim In-dong) сравнил такой подход с установкой «персонального лифта, доставляющего данные без промежуточных остановок».
Помимо zHBM, Samsung анонсировала начало предоставления образцов 3D-памяти zNAND-O партнерам с 2028 года. Эти планы были озвучены на фоне острых дискуссий об альтернативной технологии соединения памяти CXL. Данный стандарт позволяет серверам совместно использовать оперативную память, что могло бы снизить высокую стоимость построения ИИ-кластеров за счет экономии на модулях HBM. Однако ведущие разработчики нейросетей не спешат делать ставку на CXL, а представитель OpenAI Дэниел Моррис (Daniel Morris) отметил отсутствие реальных сценариев использования этой технологии для активной работы ИИ-моделей, ограничив ее роль хранением редко востребованных данных. Специалист Intel Видья Тьягараджан (Vidya Thyagarajan) подтвердил, что пропускная способность CXL существенно уступает HBM при передаче данных между графическими процессорами. Таким образом, доминирование традиционной высокоскоростной памяти на рынке ИИ-оборудования сохраняется.
Источник: mobile-review.com