Компания Mistral AI опубликовала то, что она называет первой комплексной оценкой жизненного цикла большой языковой модели, призванной установить новые стандарты прозрачности в отрасли.
В отчёте основное внимание уделяется флагманской модели Mistral, Mistral Large 2, а также подробно описываются экологические издержки, связанные с обучением и 18 месяцами эксплуатации. К январю модель произвела 20,4 килотонны CO₂ в эквиваленте, потребила 281 000 кубометров воды и использовала ресурсы, эквивалентные 660 килограммам сурьмы. (Эквивалент сурьмы используется для измерения потребления редких металлов и минералов, необходимых для производства оборудования.)
Команда рассчитала, как один ответ от Le Chat от Mistral (400 токенов) влияет на окружающую среду. Оказалось, что каждый запрос приводит к выбросу 1,14 грамма CO₂, 45 миллилитров воды и 0,16 миллиграмма сурьмы.
Анализ показал, что обучение модели — это самый ресурсозатратный этап, на который приходится 85,5% выбросов парниковых газов и 91% общего потребления воды
Генеральный директор OpenAI Сэм Альтман недавно заявил, что в среднем ChatGPT использует всего 0,32 миллилитра воды, что составляет менее 1% от объёма, потребляемого Mistral. Тем не менее, поскольку OpenAI не предоставила исчерпывающих данных о своём влиянии на окружающую среду, а Альтман лишь бегло упомянул об этой статистике, трудно сказать, насколько эти цифры сопоставимы.
В отчёте Mistral отмечается, что огромные вычислительные мощности, необходимые для работы генеративного ИИ, который часто запускается на кластерах графических процессоров в регионах с высоким уровнем выбросов углекислого газа и иногда испытывает нехватку воды, оказывают значительное воздействие на окружающую среду. Это не новое открытие, но масштабы проблемы выросли вместе с продолжающимся бумом в сфере ИИ.
Исследование также выявило чёткую связь между размером модели и её воздействием на окружающую среду. Чем масштабнее модель, тем значительнее её воздействие: модель, которая в десять раз крупнее, оказывает примерно на порядок более сильное влияние на окружающую среду, при условии, что количество сгенерированных токенов одинаково. Это подчёркивает необходимость выбора правильной модели для каждого конкретного случая.
Три предлагаемых показателя для отраслевой отчётности
Основываясь на полученных результатах, компания Mistral предлагает использовать в отрасли три основных показателя: общее влияние обучения модели, влияние на один вывод (на один запрос) и соотношение влияния вывода и общего влияния жизненного цикла.
Mistral утверждает, что первые два показателя должны быть обязательными, чтобы общественность могла лучше понимать, как ИИ влияет на окружающую среду. Третий показатель может служить внутренним индикатором, раскрытие которого необязательно для общественности, но позволяет получить более полное представление о жизненном цикле.
Компания видит два способа уменьшить воздействие ИИ на окружающую среду. Во-первых, компании, занимающиеся ИИ, должны публиковать данные о воздействии своих моделей на окружающую среду в соответствии с международно признанными стандартами, чтобы пользователям было проще сравнивать и выбирать более экологичные варианты. Во-вторых, сами пользователи могут помочь, более эффективно используя генеративный ИИ: выбирая модель, соответствующую их потребностям, объединяя запросы и избегая ненужных вычислений.
Mistral признаёт, что этот первоначальный анализ является лишь приблизительной оценкой. Точные расчёты провести сложно, поскольку не существует установленных стандартов для оценки жизненного цикла больших языковых моделей и широкодоступных оценочных коэффициентов. Кроме того, до сих пор нет достоверных данных о жизненном цикле графических процессоров.
Компания планирует в будущем обновить свои отчёты об охране окружающей среды и хочет внести свой вклад в формирование международных отраслевых стандартов. Результаты будут опубликованы в базе данных Base Empreinte, французской справочной платформе с данными о воздействии продуктов и услуг на окружающую среду.
В ЕС новый закон об искусственном интеллекте уже требует от поставщиков моделей ИИ подробно документировать энергопотребление. Разработчики должны предоставлять техническую документацию, в которой подробно описывается энергопотребление их моделей. Энергопотребление является одним из факторов, которые регулирующие органы учитывают при определении того, представляет ли модель «системный риск».
Хотите быть в курсе важных новостей из мира ИИ? Подписывайтесь на наш Telegram‑канал BotHub AI News.
Перевод, источник новости здесь.
Источник: habr.com