В социальной сети X Илон Маск рассказал, что x.ai запускает один из самых мощных суперкомпьютеров для обучения нейросетей. Инфраструктуру разрабатывали совместно с экспертами из Nvidia. Кластер находится в Мемфисе, штат Теннесси.
По словам Маска, дата-центр построен на базе 100 тыс. видеокарт Nvidia H100 с жидкостным охлаждением. По оценкам экспертов, это самое большое количество подобных видеоускорителей, используемых в одном проекте. К примеру, у Meta* есть два дата-центра с 24 тыс. видеокартами в каждом.
Компания Маска ещё находится в более выгодной позиции из-за того, что использует H100 с новым поколением чипов, которые быстрее приблизительно в 2 раза. Другие разработчики моделей машинного обучения пока не успели перейти на новое оборудование, но планируют закупить его уже в этом году.
Эксперты считают, что Маск слегка манипулирует фактами, называя новый центр обработки данных самым мощным кластером в мире. Сравнение проводилось только по дата-центрам с рассекреченными или открытыми характеристиками. Никто точно не знает, какое оборудование использует OpenAI и Microsoft. Также представители x.ai не сообщают, для каких именно целей запустили новый кластер. Вероятно, компания планирует начать обучение Grok 3.
Meta Platforms*, а также принадлежащие ей социальные сети Facebook** и Instagram**: * — признана экстремистской организацией, её деятельность в России запрещена ** — запрещены в России
Источник: habr.com
