Большая языковая модель GPT-5 от OpenAI потребляет в 20 раз больше энергии для ответа на стандартный запрос, чем предыдущие модели американской компании, пишет Guardian со ссылкой на экспертов.
OpenAI не публикует официальную информацию об энергопотреблении своих моделей с момента выхода GPT-3 в 2020 году. Генеральный директор компании Сэм Альтман презентовал показатели потребления ресурсов ChatGPT в июне этого года. Однако цифра в 0,34 Вт⋅ч на запрос не относится к конкретной модели и не подтверждена документально.
Столь сложная модель, как GPT-5, потребляет больше энергии как во время обучения, так при выводе, заявил профессор Иллинойсского университета Ракеш Кумар. Кроме того, модель ориентирована на длительное «мышление». Кумар с уверенностью сказал, что GPT-5 будет потреблять гораздо больше энергии, чем GPT-4.
В день релиза GPT-5 исследователи из лаборатории искусственного интеллекта Род-Айлендского университета обнаружили, что модель может потреблять до 40 Вт⋅ч для генерации ответа средней длины, состоящего примерно из 1 тыс. токенов. Позже учёные опубликовали сравнительные данные, которые показывают, что для ответа средней длины GPT-5 потребляет чуть более 18 Вт⋅ч — это выше, чем у всех других моделей, кроме o3 от OpenAI и R1 от DeepSeek.
Среднее энергопотребление языковых моделей
Данные Axios демонстрируют, что ChatGPT обрабатывает 2,5 млрд запросов в день. В этом случае общий расход GPT-5 может достичь суточной потребности в электроэнергии 1,5 млн домов в США.
Несмотря на эти значения, исследователи в области ИИ утверждают, что показатели соответствуют общим ожиданием относительно энергопотребления GPT-5. OpenAI не публиковала количество параметров, определяющих размер модели, ни для одной из своих моделей начиная с GPT-3, которая имела 175 млрд параметров.
Летом этого года французская компания в сфере ИИ Mistral обнаружила значительную корреляцию между размером модели и её энергопотреблением. Вывод основан на исследовании внутренних систем Mistral.
Исследователи Род-Айлендского университета отмечают, что GPT-5 развёрнута на более эффективном оборудовании, чем некоторые предыдущие модели. Новая модель OpenAI, вероятно, использует архитектуру MoE, то есть она оптимизирована таким образом, что не все её параметры активируются при ответе на запрос. Подобная конфигурация, возможно, снижает энергопотребление БЯМ.
С другой стороны, GPT-5 представляет собой модель рассуждений, которая также работает с текстом, видео и изображениями, что, скорее всего, делает её энергетический след значительно больше, чем просто при операциях с текстом, полагают в Род-Айлендском университете. Во время использования режима рассуждений количество ресурсов на получение одного ответа, вероятно, будет в несколько раз больше.
Чтобы рассчитать потребление ресурсов ИИ-моделью, научная группа умножила среднее время для ответа на среднюю мощность потребления во время работы. Исследование содержит оценки того, какие чипы использует конкретная модель и как различные запросы распределяются между разными ускорителями в центрах обработки данных.
Приведённое Альтманом значение в 0,34 Вт⋅ч на запрос, практически совпадает с данными, полученными исследователями для GPT-4o.
Источник: habr.com