Недавно представленная языковая модель GPT-5 от OpenAI значительно мощнее своих предшественников, но при этом она гораздо больше потребляет энергии, чем GPT 4 — примерно в 8,6 раза. Это результаты тестов, проведённых в Лаборатории искусственного интеллекта Университета Род-Айленда, тогда как сама компания OpenAI официально не раскрывает данные об энергопотреблении своей языковой модели. Отчасти это вызывает опасения по поводу её энергетического следа. Telegram-канал создателя Трешбокса про технологии
Специалисты Лаборатории искусственного интеллекта Университета Род-Айленда посчитали, что GPT-5 потребляет в среднем чуть более 18 Вт·ч на один запрос. Если учесть примерно 2,5 млрд запросов в сутки в ChatGPT, то потребление энергии может достичь 45 ГВт·ч ежедневно. Это огромные цифры, сопоставимы с энергопотреблением целой страны. Современная атомная электростанция вырабатывает от 1 до 1,6 ГВт энергии в час на один реактор. Центрам обработки данных, работающим на GPT-5 с потреблением 18 Вт·ч на запрос, может потребоваться мощность двух-трёх ядерных реакторов.
Университет в своих расчётах брал за основу данные, согласно которым для создания ответа средней длины (1000 токенов) GPT-5 может потребоваться до 40 Вт·ч электроэнергии, то есть в среднем чуть более 18,35 Вт·ч. Однако стоит отметить, что методика лабораторных испытаний далека от идеала и результаты могут быть неточными.
Команда измерила энергопотребление GPT-5, объединив два ключевых фактора: время, необходимое модели для ответа на запрос, и предполагаемое среднее энергопотребление оборудования, на котором она работает. Поскольку OpenAI не раскрыла подробностей, исследователям пришлось строить предположения об аппаратной конфигурации. Они считают, что GPT-5, вероятно, работает на серверных системах NVIDIA DGX H100 или DGX H200, размещённых в Microsoft Azure. Умножив время ответа на предполагаемое энергопотребление оборудования, они получили значения в ватт-часах для различных выходных данных. Оценка аппаратного обеспечения также учитывала компоненты, не относящиеся к GPU (процессоры, память, хранилище, системы охлаждения), и другие факторы.
GPT-5 использует смешанную архитектуру, поэтому не все параметры активны для каждого запроса, что снижает энергопотребление для некоторых коротких (или глупых) запросов. Однако в этой модели есть режим рассуждений с увеличенным временем обработки, что может увеличить энергопотребление в 5-10 раз для одного и того же ответа (то есть более 40 Вт·ч на запрос). Об этом пишет издание The Guardian.
Источник: trashbox.ru