SK Hynix и Sandisk представили первые спецификации высокоскоростной флеш-памяти (HBF), технологии хранения данных следующего поколения, разработкой которых они занимались с прошлого года. В феврале SK Hynix и Sandisk запустили проект по стандартизации HBF в рамках Open Compute Project (OCP). Google и Tensorrent уже присоединились к нему, и ожидается, что к ним подключатся и другие компании.
Теперь спецификации находятся в открытом доступе для любой компании, разрабатывающей системы ИИ-инференса или ускорители. Они охватывают до 512 Гбайт ёмкости на основе двух конфигураций стека с 8 и 16 слоями NAND с тремя уровнями пропускной способности (Класс 1–3) в пределах от 0,4 до 3,0 Тбайт/с. SK hynix отметила, что ключевым моментом является использование UCIe, это закладывает основу для гибкой интеграции технологии HBF в различные типы процессоров, включая GPU и CPU.
В документе определены интерфейс хоста xPU-HBF, электрические спецификации, базовые ожидания по производительности, рекомендации по надёжности и упаковке стека кристаллов HBF, а также руководство пользователя по ПО для операций чтения и записи. Компании разработали спецификацию таким образом, чтобы HBF мог сосуществовать с HBM в одной системе, а не заменять его, отметил ресурс StorageReview.com. Расчёт ёмкости такой же, что и при переносе KV-кеша на флеш-память: хранение контекста на более дешевом и плотном уровне увеличивает количество токенов и пользователей, которые может обслуживать каждый ускоритель.
Источник изображения: SK hynix
Sandisk и SK Hynix объявили свою стратегию: ранняя и открытая публикация в рамках OCP, чтобы позиционировать HBF как де-факто стандарт для рынка хранения данных для ИИ до того, как конкуренты создадут альтернативу. «Вычисления в ИИ создают новый набор требований к памяти, и технология HBF разработана для удовлетворения этих требований, — сообщила Sandisk, назвав спецификации важной вехой «для следующего поколения ИИ-систем, созданных для улучшения экономики токенов в масштабе».
«С быстрым распространением ИИ-приложений мы достигли точки, когда необходимо перепроектировать общие структуры обработки данных, — сказала SK hynix, — С помощью HBF SK hynix расширит границы между памятью и хранилищем и внесёт свой вклад в создание новых архитектур, повышающих общую эффективность системы».
Источник: servernews.ru