Учёные из Корейского института науки и технологий KAIST выяснили, что новые поколения ИИ, т.н. агенты, потребляют огромное количество энергии. Обычный чат-бот просто отвечает на вопрос, а агент уже сам планирует шаги, ищет информацию в интернете, запускает программы и решает сложные задачи. За это приходится платить потреблением электричества.
Исследователи подсчитали: один запрос к такому ИИ-агенту требует в среднем в 136,5 раза больше электричества, чем ответ обычной нейросети. Кроме того, мощные GPU простаивают больше половины своего времени, ожидая ответа от внешних сервисов, но при этом продолжают расходовать электроэнергию.
Исследование представили на международной конференции по компьютерным архитектурам, а все данные и методики сделали открытыми, чтобы другие разработчики могли искать способы снизить энергопотребление ИИ.
Источник: www.ferra.ru