На этой неделе на конференции Cloud Next компания Google представила новейшее поколение своего чипа-ускорителя искусственного интеллекта TPU. Новый чип, названный Ironwood, является седьмым поколением TPU от Google и первым, оптимизированным для вывода — то есть запуска моделей AI. Планируемый к запуску в конце этого года для клиентов Google Cloud, Ironwood будет поставляться в двух конфигурациях: кластер из 256 чипов и кластер из 9216 чипов.
«Ironwood — наш самый мощный, способный и энергоэффективный TPU на сегодняшний день», — написал вице-президент Google Cloud Амин Вахдат в сообщении в блоге, предоставленном TechCrunch. «И он специально создан для поддержки мышления, выводных моделей AI в масштабе».
Ironwood появляется, когда конкуренция в области ускорителей AI накаляется. Nvidia может быть лидером, но технологические гиганты, включая Amazon и Microsoft, продвигают свои собственные внутренние решения. У Amazon есть процессоры Trainium, Inferentia и Graviton, доступные через AWS, а Microsoft размещает экземпляры Azure для своего чипа AI Maia 100.
Источник изображения: Google
Ironwood может обеспечить 4614 TFLOPs вычислительной мощности на пике, согласно внутреннему бенчмаркингу Google. Каждый чип имеет 192 ГБ выделенной оперативной памяти с пропускной способностью, приближающейся к 7,4 Тбит/с.
Ironwood имеет усовершенствованное специализированное ядро SparseCore для обработки типов данных, распространенных в рабочих нагрузках «расширенного ранжирования» и «рекомендаций» (например, алгоритм, предлагающий одежду, которая вам может понравиться). Архитектура TPU была разработана для минимизации перемещения данных и задержек на чипе, что приводит к экономии энергии, утверждает Google.
Вахдат добавил, что в ближайшем будущем Google планирует интегрировать Ironwood со своим AI Hypercomputer — модульным вычислительным кластером в Google Cloud.
«Ironwood представляет собой уникальный прорыв в эпоху вывода», — сказал Вахдат, — «благодаря возросшей вычислительной мощности, объему памяти, достижениям в области сетевых технологий и надежности».
Источник
Источник: habr.com