Компания NetApp представила дезагрегированную архитектуру нового поколения NetApp Novus, поддерживающую хранение данных зеттабайтного масштаба, которая позволит ИИ-фабрикам обеспечивать непрерывную подачу данных на миллионы GPU, повышая до максимума эффективность, уровень загрузки ресурсов и окупаемость инвестиций. NetApp позиционирует Novus как самую быструю на планете систему хранения.
Компания отметила, что неооблака и провайдеры GPUaaS создают ИИ-фабрики такого масштаба, на который не были рассчитаны традиционные архитектуры СХД. Это приводит к возникновению «узких мест», снижающих коэффициент использования GPU и увеличивающих затраты на инфраструктуру. При использовании традиционных архитектур загрузка GPU может падать ниже 30%, если система не способна обеспечить подачу достаточного объёма данных для получения необходимых результатов и окупаемости вложений.
«ИИ-фабрики давно нуждались в инфраструктуре, способной масштабироваться со скоростью развития технологий ИИ», — отметил Сьям Наир (Syam Nair), директор по продуктам NetApp. По его словам, используя преимущества платформы NetApp, решение Novus обеспечивает совокупную пропускную способность 100 Тбайт/с с возможностью неограниченного горизонтального масштабирования.
Источник изображения: NetApp
Ариндам Банерджи (Arindam Banerjee), главный архитектор платформ и технологий NetApp, пояснил, что Novus использует принцип федерации для объединения нескольких кластеров хранения в единое пространство имен, при этом пропускная способность системы растёт по мере добавления новых кластеров. Архитектура опирается на стандартные протоколы pNFS и Flex Files, что позволяет использовать стандартное ядро Linux.
Это избавляет операторов от необходимости развёртывать, обновлять и проверять проприетарные клиентские решения для тысяч образов узлов, различных поколений GPU и сред разных арендаторов. Такой подход устраняет значительный источник постоянных накладных расходов, сохраняя при этом единое пространство имен для совместной инфраструктуры ИИ. Novus переносит надёжность, безопасность и возможности многопользователького доступа платформы ONTAP в архитектуру, специально разработанную для ИИ-фабрик, говорит он.
Novus разделяет потоки метаданных и данных, позволяя каждому из них масштабироваться независимо. Банерджи отметил, что в Novus службы обработки метаданных разделены на независимо масштабируемые уровни (протоколов, состояний и каталогов). Это позволяет устранить «узкие места», возникающие при рабочих нагрузках ИИ, когда интенсивные операции чтения и записи данных сочетаются с масштабными операциями с метаданными. Серверы данных Novus будут работать под управлением ОС ONTAP, что позволит распространить на новую архитектуру уже существующие в решениях NetApp механизмы обеспечения целостности данных, отказоустойчивости, безопасности, изоляции и качества обслуживания (QoS).
Источник изображения: NetApp
Единое пространство имен упрощает эксплуатацию. Когда данные задачи распределены по разным системам, их приходится перемещать, перемонтировать, перебалансировать, а также отслеживать каждую копию. Единое пространство имён зеттабайтного масштаба устраняет эту проблему, обеспечивая постоянную доступность наборов данных, контрольных точек и артефактов модели по мере роста среды. Архитектура Novus позволяет операторам добавлять ёмкость и повышать производительность без необходимости внесения изменений в приложения, прерывания работы или сбоев в работе клиентов. Вместо того, чтобы делать топологию хранения видимой для каждой рабочей нагрузки, Novus предоставляет единую согласованную среду данных, созданную для масштабов ИИ-фабрики.
Первые версии Novus объединяют ПО для управления метаданными NetApp Novus Data Director (работающее на сертифицированной инфраструктуре Supermicro) и сервисы обработки данных NetApp ONTAP, реализованные на базе систем AFF A90. В совокупности они формируют дезагрегированную архитектуру, рассчитанную на пропускную способность свыше 100 Тбайт/с и высокую степень загрузки сотен тысяч GPU, при этом сохраняя надёжные корпоративные сервисы обработки данных ONTAP, которым доверяют клиенты.
Как отметил ресурс Blocks&Files, системы ONTAP на базе платформ AFF (A800, A90 и аналогичных) поддерживают технологию GDS (GPU Direct Storage) c NFS поверх RDMA, начиная с версии ONTAP 9.12.1. Опубликованные результаты демонстрируют показатели ~171 ГиБ/с (для A800) и ~351 ГиБ/с (для кластера A90), так что Novus с запасом превзойдёт эти цифры. Решение NetApp AFX (дезагрегированная версия ONTAP для ИИ) сертифицировано для использования с NVIDIA DGX SuperPOD и прошло тестирование с технологией Magnum IO GPUDirect Storage. NetApp зафиксировала устойчивую пропускную способность 457 ГиБ/с при работе восьми узлов AFX. В документации AFX заявлена поддержка NFS/RDMA, включая технологии GPU Direct, pNFS и Session Trunking.
Источник изображения: NetApp
По словам гендиректора NetApp Джорджа Куриана (George Kurian), благодаря пропускной способности в 100 Тбайт/с и доступу к объёму данных, превышающему 1 Збайт, в рамках единого пространства имен, NetApp Novus поможет ускорить научные исследования: например, учёные смогут в реальном времени запускать сложные симуляции и модели, а биологи — задействовать десятки тысяч компьютеров для отслеживания поведения каждой молекулы белка в клетке.
Как отметила NetApp, клиенты, внедряющие архитектуру Novus, получают следующие преимущества:
Источник: servernews.ru