Сегодня, 26 декабря, информационное издание China Times Group со ссылкой на свои источники сообщило, что, по оценкам экспертов индустрии, к 2026 году объём использования высокоскоростной памяти в облачных сервисах достигнет отметки в 3 ЭБ (где «ЭБ» — эксабайт, который равен 1024 петабайтам). Это колоссальные объёмы памяти, и аналитики рынка предполагают, что глобальное потребление чипов памяти DRAM сектором центров обработки данных искусственного интеллекта вплотную приблизится к 20% от общемирового потребления. То есть каждый пятый чип памяти DRAM на планете будет отправляться в ЦОДы для работы с ИИ. Подписывайтесь на Telegram-канал про технологии
И хотя этот прогноз пока что сложно подтвердить или опровергнуть реальными данными или статистикой, специалисты отмечают, что рост спроса со стороны ЦОД для ИИ неизбежно приведёт к снижению предложения на рынке персональных компьютеров, мобильных устройств (планшеты и смартфоны), а также традиционных серверов, которые с ИИ не взаимодействуют. Соответственно, если крупные производители чипов памяти не нарастят свои производственные мощности, в обозримом будущем дефицит чипов памяти на потребительском рынке будет лишь нарастать, так как для обработки ИИ-технологий нужно будет всё больше и больше DRAM.
Эксперты отмечают, что центрам обработки данных очень нужна быстрая память, так как они нуждаются в хранении больших объёмов промежуточных данных во время процессов инференса (процесса генерации ответа уже обученной большой языковой моделью). Например, если речь идёт о сценарии с длинным контекстом на 1 миллион токенов, даже при использовании более эффективного формата FP8 в процессе вывода системе может потребоваться около 60 ГБ высокоскоростной DRAM-памяти для хранения промежуточных данных. Если же речь идёт о формате FP16, объём хранения данных составит свыше 100 ГБ. И для гигантов индустрии это очень важный момент.
По оценкам аналитиков, три крупнейшие облачные платформы Google (Gemini), AWS (Bedrock) и OpenAI (ChatGPT) в 2026 году будут нуждаться в 750 ПБ (петабайт) HBM-памяти для обработки запросов в режиме реального времени, а ведь есть ещё китайские гиганты, Apple и другие игроки ИИ-рынка, которые тоже запускают и постоянно расширяют свою инфраструктуру. А ведь речь идёт об уже обученных моделях, но на обучение LLM тоже нужны ресурсы, так что прогноз в 20% памяти исключительно под ИИ-технологии выглядит вполне реалистичным.
Источник: trashbox.ru