Компания ScaleFlux анонсировала специализированную программно-аппаратную платформу на основе SSD для ресурсоёмких нагрузок ИИ-инференса. Предложенное решение может применяться в рамках архитектуры NVIDIA CMX — системы хранения данных, предназначенной для ускорения работы с контекстом в ИИ-инфраструктурах.
Платформа ScaleFlux рассчитана на задачи с интенсивным использованием KV-кеша. Отмечается, что KV-блоки часто перезаписываются, хранятся разное время и могут асинхронно аннулироваться. Поэтому при инференсе, когда активно используется KV-кеш, создаётся повышенная нагрузка на SSD, что приводит к быстрому износу чипов флеш-памяти и к тому, что операторы дата-центров и гиперскейлеры вынуждены тратить огромные средства на закупку дополнительных накопителей и замену выходящих из строя устройств.
Источник изображения: ScaleFlux
Новая технология ScaleFlux призвана решить проблему. Платформа базируется на трёх ключевых принципах: анализ реального поведения рабочей нагрузки, разделение блоков KV-кеша с разными жизненными циклами и поддержание интенсивных рабочих нагрузок записи без чрезмерного увеличения ёмкости SSD или расходов на их замену. Основным элементом системы ScaleFlux является функция Flexible Data Placement (FDP): она позволяет группировать данные по их жизненному циклу (например, по сессии, вероятности повторного использования) и размещать их в отдельных физических областях накопителя. Это минимизирует внутреннее перемещение данных, а следовательно, снижает износ флеш-памяти. Платформа поддерживает более 200 потоков FDP-записи на один накопитель, обеспечивая гибкое разделение данных по типам нагрузок.
Ещё одной составляющей решения ScaleFlux является телеметрия Context-Insight: она фиксирует ключевые метрики работы накопителя — задержки, глубину очереди, распределение размеров запросов, возраст данных, интервалы между записью и первым чтением, интенсивность повторного использования и пр. Для первоначального анализа рабочей нагрузки инструмент Context-Insight может использоваться в режиме «только SSD» — без внесения изменений в вышестоящие программные слои. При более глубокой интеграции система сопоставляет телеметрию SSD с метаданными приложения, включая идентификаторы сеансов и рабочих процессов, принадлежность KV-блоков, состояние жизненного цикла и т.д. Это позволяет операторам соотносить задержку и ресурс накопителей с конкретными классами рабочих нагрузок.
В предварительных тестах применение платформы ScaleFlux с поддержкой FDP позволило сократить коэффициент усиления записи (Write Amplification) более чем в два раза по сравнению с традиционными хранилищами. С аппаратной точки зрения применяемые в составе системы ScaleFlux накопители рассчитаны на 7–10 и более полных перезаписей в сутки (DWPD) на протяжении пяти лет для нагрузок с использованием KV-кеша.
Источник: servernews.ru