Компания Google работает над новым ИИ-ускорителем под неформальным названием Frozen v2, который позволит интегрировать элементы ИИ-модели Gemini непосредственно в «железо», что позволит эффективнее исполнять ИИ-нагрузки, сообщает The Information. Чип, как ожидается, поможет разрешить проблему нехватки вычислительных мощностей для ИИ, уже заставившую Google Cloud отказаться от сделок с клиентами.
По имеющимся данным, Google намерена начать внедрение новых чипов в 2028 году, хотя работы над новой архитектурой продолжаются. Кроме того, пока неизвестно, какая часть модели будет «прошита» в аппаратной составляющей. Предполагается, что чипы могут быть в 6–10 раз эффективнее, чем новейшие TPU, в пересчёте на количество токенов на Вт. При этом новые чипы призваны дополнить TPU, а не заменить их.
По словам представителя Google Cloud, команды компании постоянно занимаются исследованиями и экспериментируют с инновационными решениями. Проектируя аппаратное и программное обеспечения с нуля, компания обеспечивает интеграцию и высокую степень оптимизации систем.
Источник изображения: Google
Как сообщает Silicon Angle, чипы, предлагаемые «по умолчанию», обычно включают компоненты, которые клиентам не нужны вовсе. Например, использование традиционных GPU для инференса делает ненужными блоки рендеринга. Разработка кастомных чипов помогает решить проблему. Компания может исключить ненужные модули, тем самым снижая цену производства, или же заменить ненужные элементы на модули, оптимизированные для специальных задач.
Повышенная эффективность будет достигнута разными способами. В частности, в компании рассчитывают, что Froxen v2 позволит снизить количество вычислений для Gemini. Также ожидается снижение масштабов перемещения данных. Google может оснастить Frozen v2 достаточным количеством памяти для запуска Gemini полностью на чипе. Подобный дизайн избавил бы от необходимости отправлять данные к RAM и обратно.
Источник: servernews.ru