Фото: nvidia.com
Мы открыли для тестирования новый сервис «Виртуальная инфраструктура с GPU» и первыми на рынке запускаемся с флагманской NVIDIA H200.
В составе «Публичного облака» услуга будет доступна в двух вариантах:
виртуальные машины с GPU;
Linux-контейнеры с GPU на базе NVIDIA H200 с доступом по технологии MIG.
Первый вариант — виртуальные машины с виртуализированными GPU на базе NVIDIA L4 и L40S. В этом случае физическая видеокарта делится на профили и клиент получает один из них. Можно выбрать как минимальный профиль для решения базовых задач, так и профиль, соответствующий целой GPU, для больших нагрузок и ресурсоемких задач. Это экономичный и гибкий способ получить доступ к GPU для инференса ИИ-моделей, видеоаналитики и других нагрузок, когда нужен разумный баланс между стоимостью и производительностью.
Второй вариант — Linux-контейнеры с GPU. Здесь мы применяем технологию Multi-instance GPU, или MIG: мощная видеокарта делится на логические части (до семи независимых экземпляров). В этом случае на один контейнер можно выделить, например, одну, две или три части видеокарты, что дает пользователям точный контроль над ресурсами. Это особенно важно там, где нагрузка варьируется и может расти.
Все построено на современных GPU от NVIDIA. Мы используем три модели: L4, L40s и H200. Если L4 и L40s — уже всем известные проверенные решения, то H200 – новейшая разработка. Видеокарта NVIDIA H200 построена на архитектуре Hopper, имеет 141 ГБ памяти нового поколения HBM3e и может «прокачивать» до 4,8 ТБ/с. Это почти в полтора раза выше, чем у предыдущей модели H100. Благодаря этим характеристикам H200 идеально подходит для задач генеративного ИИ, обучения больших языковых моделей и высокопроизводительных вычислений в научных и инженерных проектах.
GPUaaS запускается в нашем московском дата-центре «Медведково-2». Пользователи смогут выбрать сценарий использования GPU, который отвечает их бизнес-задачам. Управление — через личный кабинет «Публичного облака». Можно выбрать готовую конфигурацию и масштабировать, перезапускать, отслеживать метрики. Все автоматизировано: никаких ручных тикетов, ожидания или согласований.
Хотите протестировать флагманский сервис?
Напишите нам на online@rt-dc.ru
Источник: habr.com