ИИ-агенты и чат-боты в корпоративной среде всё чаще сталкиваются с ограничениями использования из-за огромных затрат. По данным издания 404 Media, компания Uber израсходовала весь годовой бюджет на использование искусственного интеллекта всего за четыре месяца, после чего вынуждена сократить использование ИИ-сервисов сотрудниками. Аналогичные меры приняли и другие крупные компании, в частности, GitHub отказался от фиксированной подписки Copilot Business, перейдя на оплату по количеству обработанных токенов. В связи с этим участились поиски способов уменьшения расходов на работу больших языковых моделей. Одним из таких решений стал инструмент под названием Caveman, заставляющий искусственный интеллект отвечать как пещерный человек, то есть максимально кратко.
Токены сегодня являются основной единицей расчёта стоимости работы больших языковых моделей, которые в среднем соответствуют примерно одному небольшому слову. При этом оплачиваются как входные данные (запрос пользователя), так и ответ ИИ-модели. Поэтому лишние фразы вроде «Конечно, с удовольствием помогу!» приводят к весьма ощутимым расходам. Разработчик Юлиус Бруссе (Julius Brussee) заметил, что значительная часть токенов расходуется на вводные фразы, вежливые обращения и уточнения. Он создал Caveman — плагин, делающий ответы ИИ максимально лаконичными. Это небольшой конфигурационный файл в формате Markdown, совместимый с Claude Code, OpenAI Codex, Gemini и другими ИИ-инструментами для программирования. Чтобы установить плагин, достаточно одной команды — npx skills add JuliusBrussee/caveman
По словам разработчика, ИИ говорит меньше, но сообщает ту же самую информацию. Согласно внутренним тестам, Caveman позволяет сократить объём генерируемого текста примерно на 65-75% по сравнению со стандартными ответами ИИ-моделей. Независимое исследование Elastic Labs подтвердило эффективность такого решения — в 8 различных сценариях объём выходных токенов сократился в среднем на 63,6%, при этом качество ответов не изменилось.
Примечательно, что популярность проекта быстро привлекла внимание крупных компаний. К примеру, Legrand, занимающаяся инфраструктурой для дата-центров, разослала сотрудникам документ с рекомендациями по снижению расходов на ИИ. В нём Caveman оказался одним из четырёх наиболее эффективных способов экономии. Проект одобрил технический директор OpenAI Шейн Суини (Shayne Sweeney), который лично добавил поддержку Codex в репозиторий Caveman. По данным 404 Media, инструмент также тестируют GitHub и NVIDIA.
Эксперты считают, что Caveman действительно помогает снизить расходы на использование ИИ, однако более эффективными являются комплексные методы оптимизации наряду с сокращением длины ответов.
Источник: trashbox.ru