Вы когда-нибудь задумывались, сколько электроэнергии вы тратите, когда подсказываете или благодарите модель AI? Инженер Hugging Face Жюльен Делаванд задумался, поэтому он создал инструмент, который помогает найти ответ.
Модели AI потребляют энергию каждый раз, когда они запускаются. Они запускаются на графических процессорах и специализированных чипах, которым требуется много энергии для выполнения соответствующих вычислительных рабочих нагрузок в масштабе. Нелегко точно определить энергопотребление модели, но широко ожидается, что растущее использование технологий AI приведет к тому, что потребности в электроэнергии в ближайшие пару лет достигнут новых высот.
Потребность в большей мощности для питания AI привела к тому, что некоторые компании стали следовать неэкологичным стратегиям. Такие инструменты, как Delavande, направлены на то, чтобы привлечь к этому внимание и, возможно, заставить некоторых пользователей AI задуматься.
«Даже небольшая экономия энергии может масштабироваться на миллионы запросов — выбор модели или длина выходных данных могут привести к значительному воздействию на окружающую среду», — написали Делаванде и другие создатели инструмента в своем заявлении.
Инструмент Delavande предназначен для работы с Chat UI, открытым исходным кодом для таких моделей, как Llama 3.3 70B от Meta и Gemma 3 от Google. Инструмент оценивает потребление энергии сообщениями, отправляемыми на модель и с нее в режиме реального времени, сообщая потребление в ватт-часах или джоулях. Он также сравнивает потребление энергии моделью с потреблением обычных бытовых приборов, таких как микроволновые печи и светодиоды.
По данным инструмента, при написании типичного электронного письма Llama 3.3 70B потребляет приблизительно 0,1841 Вт·ч, что эквивалентно работе микроволновой печи в течение 0,12 секунды или использованию тостера в течение 0,02 секунды.
Стоит помнить, что оценки инструмента — это всего лишь оценки. Делаванд не утверждает, что они невероятно точны. Тем не менее, они служат напоминанием о том, что все — включая чат-ботов — имеет свою цену.
«С такими проектами, как оценка энергопотребления AI и более широкое исследование энергетического следа AI, мы добиваемся прозрачности в сообществе разработчиков ПО с открытым исходным кодом. Однажды потребление энергии может стать таким же заметным, как этикетки с пищевой ценностью на продуктах питания!» — написали Делаванде и его соавторы.
Источник
Источник: habr.com
Похожие новости:
Гиперперсонализация: как сделать предложение пользователю релевантным
Уровень «цифровой зрелости» компаний в России выше, чем в среднем по миру
«Слушая подкасты, ничего не узнаешь, ты должен устать, упасть без задних ног — такой должна быть встреча с образованием»
Энергопотребление ЦОД к 2030 году вырастет более чем вдвое: из-за ИИ придётся сжигать больше угля и газа