В McKinsey решили бороться с перерасходом ИИ‑токенов не введением жёстких лимитов, а информирование сотрудников.
Руководитель подразделения McKinsey по ИИ и аналитике QuantumBlack в Великобритании Дебасиш Патнайк рассказал, что потребление токенов отслеживают по каждому пользователю. При этом летом по всей компании запустили систему уведомлений. Она предусматривает, что если сотрудник начинает использовать слишком много ИИ‑ресурсов, то ему приходит письмо.
«Это похоже на контроль мобильного трафика на рабочем телефоне. Мы просто объясняем, как выполнить задачу с меньшими затратами для компании», — отметил Патнайк.
В McKinsey к маю расходовали около 5 трлн токенов в месяц. При этом на 10% сотрудников приходится порядка 65% объёма потребления. Чаще всего нейросетями активно пользовались консультанты и инженеры.
По словам Патнайка, когда сотрудники получили наглядную статистику своих действий, их подход к работе с ИИ начал меняться.
Кроме этого, McKinsey предусмотрела некоторые меры контроля:
-
внутренний ИИ‑шлюз, который оптимизирует запросы до того, как они отправляются моделям;
-
автоматические «предохранители», которые временно приостанавливают доступ при аномальных всплесках расхода токенов, чтобы проверить их;
-
кэширование, которое позволяет повторно использовать ответы на типичные вопросы и распределять затраты на всю компанию.
Наконец, в McKinsey начали продавать этот опыт своим клиентам. Патнайк говорит, что топ‑менеджерам советуют оценивать стоимость токенов не в расчёте на одного сотрудника, а относительно финального результата, а также стремиться к грамотному обучению сотрудников, а не к строгим запретам.
Между тем финтех‑стартап Slash из Сан‑Франциско рассказал, что один из сотрудников сжёг токенов на $81 тыс. после того, как руководство попросило активнее использовать нейросети. При этом ресурсы потратили не на рабочие задачи, а на разработку веб‑шутера.
А блогер‑разработчик OrcDev рассказал, что за последний месяц обработал 235 млрд токенов, которые при оплате по API‑тарифам обошлись бы ему в $157 143,39. При этом фактически он заплатил за использование моделей всего $400. Весь объём использованных им токенов был получен с помощью двух подписок: тарифа Codex и тарифа Claude за $200 каждый. По словам разработчика, этого набора ему хватает для работы над всеми проектами, а ограничения по количеству токенов он практически не ощущает.
Источник: habr.com