Компании Sandisk и SK hynix объявили о выпуске технической спецификации HBF (High Bandwidth Flash) в рамках проекта Open Compute Project (OCP). Они продвигают работу по стандартизации HBF для эпохи вывода данных в области искусственного интеллекта.
Спецификация была разработана в работы по технологии HBF, а к консорциуму присоединились Google и Tensorrent, внеся вклад в проверку технологии. Она предоставляет компаниям и разработчикам, проектирующим системы и ускорители вывода данных в области ИИ, общую техническую основу для внедрения HBF там, где требуется больший объём памяти и более высокая пропускная способность.
Современные системы вывода ИИ нуждаются в высокоскоростной памяти, расположенной вблизи вычислительных ядер, в то время как спрос на большую ёмкость памяти вблизи вычислительных узлов продолжает расти в связи с требованиями к большим языковым моделям и новым рабочим нагрузкам.
«Эта спецификация помогает разработчикам систем найти практический путь для приближения высокоёмкой высокоскоростной памяти к вычислительным узлам, обеспечивая при этом более гибкую архитектуру. Это важная веха для экосистемы HBF и для следующего поколения систем ИИ, созданных для улучшения токеновой экономики в масштабе», — сказал Альпер Илкбахар, главный технический директор Sandisk.
Спецификация определяет интерфейс системы, электрические и другие технические рекомендации по проектированию систем, взаимодействующих с технологией HBF и использующих её, включая основные ожидания по производительности, интерфейс хоста xPU‑HBF, рекомендации по надёжности и упаковке стека кристаллов HBF, а также руководство пользователя программного обеспечения для операций чтения и записи. Это даёт дополнительную гибкость при создании систем, в которых технология может сосуществовать с высокоскоростной памятью (High Bandwidth Memory).
Спецификация была выпущена в рамках проекта Open Compute Project, а вся информация находится в открытом доступе.
На днях Sandisk выступит с основным докладом на конференции «Будущее памяти и хранения данных» (FMS) в Санта‑Кларе, где будет рассмотрена важность оптимизации на системном уровне и технологии NAND для обеспечения масштабируемого выполнения задач ИИ. Также компания совместно с SK hynix и Google проведёт панельную дискуссию под руководством Томаса Кофлина, президента Coughlin Associates. На сессии будет обсуждаться, как технология высокоскоростной флэш‑памяти (HBF) стремится переосмыслить иерархию памяти, обеспечивая нужную скорость при плотности и стабильности высокоскоростной флэш‑памяти. В панельной дискуссии примут участие эксперты из компаний‑поставщиков решений HBF, а также поставщик инфраструктуры для гипермасштабируемого искусственного интеллекта.
Между тем компания d‑Matrix из Санта‑Клары продвигает технологию 3DIMC (3D Digital In‑Memory Compute). Это подход, согласно которому вычисления происходят прямо в массиве памяти, минуя пересылку данных между процессором и хранилищем. По словам компании, технология в десять раз быстрее и на 90% энергоэффективнее HBM в задачах инференса.
Источник: habr.com