Корпорация Oracle сообщила о доступности облачного суперкластера с ускорителями NVIDIA H200, предназначенного для ресурсоёмких ИИ-нагрузок, включая обучение больших языковых моделей (LLM). Арендовать мощности системы можно по цене от $10 в час в расчёте на GPU.
Кластер масштабируется до 65 536 графических процессоров. В максимальной конфигурации теоретическое пиковое быстродействие достигает 260 Эфлопс на операциях FP8, что более чем в четыре раза превышает показатели систем предыдущего поколения. Утверждается, что на сегодняшний день это самый высокопроизводительный суперкомпьютер ИИ, доступный в облаке.
Источник изображения: NVIDIA
Новые инстансы получили обозначение BM.GPU.H200.8. Каждая виртуальная машина типа Bare Metal (без гипервизора) содержит восемь изделий NVIDIA H200 (141 Гбайт памяти HBM3e), объединённых посредством NVIDIA NVLink. Задействованы два процессора Intel Xeon Platinum 8480+ поколения Sapphire Rapids (56 ядер; 112 потоков; до 3,8 ГГц; 350 Вт). Объём системной памяти DDR5 составляет 3 Тбайт. В состав локального хранилища входят восемь SSD NVMe вместимостью 3,84 Тбайт каждый.
Кластер использует сеть на базе карт Nvidia ConnectX-7 с суммарной пропускной способностью 3200 Гбит/с (восемь каналов по 400 Гбит/с). Инстансы включают frontend-сеть с пропускной способностью 200 Гбит/с.
По данным Oracle, каждый инстанс в суперкластере содержит на 76 % больше памяти HBM по сравнению с виртуальными машинами на основе NVIDIA H100, а пропускная способность памяти увеличена на 40 %. Таким образом, производительность инференса выросла в 1,9 раза.
Источник: servernews.ru
Похожие новости:
Oracle анонсировала зеттафлопсный облачный ИИ-суперкомпьютер из 131 тыс. NVIDIA B200
В облаке Microsoft Azure появились инстансы ND H200 v5 на базе NVIDIA H200
AWS объявила о доступности инстансов EC2 R8g на базе Arm-процессоров Graviton4
Phison представила новый бренд серверных SSD PASCARI и накопители X200 с PCIe 5.0