Чем подробнее промпт, тем лучше ответ, и вот уже к задаче добавляют контекст, роль, ограничения и еще пару пояснений на всякий случай. Через полстраницы уже страшно что-нибудь вычеркнуть, вдруг именно на этой фразе все и держится. Мы посмотрели, что об этом говорят исследования. Спойлер: промпт можно сократить в разы без заметной потери качества ответа. Пробую разобраться, какие подробности модель переживет, а без каких начнет фантазировать.

Что удалось сжать в исследованиях
В работе Selective Context, EMNLP 2023 фрагменты текста оценивали по тому, насколько неожиданны они для языковой модели. Самые предсказуемые удаляли. Метод проверяли на научных статьях, новостях и диалогах: модели составляли краткие пересказы и отвечали на вопросы.
Скрытый текст
Selective Context — метод сжатия входного текста, при котором удаляются наиболее предсказуемые фрагменты. Отбор работает на уровне токенов, фраз или предложений.
Вспомогательная языковая модель оценивает вероятность каждого токена с учетом предыдущего текста. По этим вероятностям рассчитывают неожиданность: чем труднее предсказать фрагмент, тем выше оценка. Фрагменты с низкими оценками удаляют в заданной пропорции; оставшийся текст передают основной модели.
При сокращении контекста на 50% расход памяти снизился на 36%, время инференса — на 32%; BERTScore уменьшился на 0,023, метрика faithfulness — на 0,038. Сжатие вдвое ускорило обработку примерно на треть, с небольшой потерей качества по выбранным метрикам.
Для прикладной задачи важны конкретные ошибки. Ответ, в котором модель потеряла исключение из правил доставки, способен сохранить высокую похожесть на эталон и поменять выручку магазина при расчете цены.
В LLMLingua, EMNLP 2023 меньшая модель выбирала, какие части промпта сохранить. Бюджет токенов распределяли между инструкцией, примерами и вопросом; текст сокращали с учетом связей между токенами.
Авторы добились сжатия до 20 раз, но потери зависели от задачи. В таблице — результаты эксперимента с GPT-3.5-Turbo-0301. Exact Match показывает долю ответов, совпавших с эталоном.
Набор задач
Токены: исходный → сжатый промпт
Сжатие, округленно
Exact Match: до → после
GSM8K, математические задачи
2366 → 446
5×
78,85% → 79,08%
GSM8K, более сильное сжатие
2366 → 117
20×
78,85% → 77,33%
BBH, задачи на рассуждение
774 → 110
7×
70,07% → 56,85%
На GSM8K двадцатикратное сжатие снизило результат на 1,52 процентного пункта; на BBH семикратное — на 13,22.
В LLMLingua-2, Findings of ACL 2024 компрессор обучили классифицировать токены: сохранять или удалять. Данные для обучения подготовили с помощью GPT-4. При отборе модель учитывает контекст с обеих сторон токена. Метод проверили на пяти бенчмарках, включая MeetingBank и LongBench.
Компрессор работал в 3–6 раз быстрее сравниваемых методов; весь цикл, от сжатия до получения ответа, ускорился в 1,6–2,9 раза при сокращении промптов в 2–5 раз.
Сохраненные слова берутся из исходника, но удаление отрицания или части условия меняет смысл правила. Такие потери проверяют отдельно: насколько текст стал короче и насколько точно модель выполняет задачу — два самостоятельных вопроса. Степень сжатия подбирают под конкретную задачу, модель и язык, сверяя экономию с ошибками.
Что именно сокращаем
В промпт входят инструкция, исходные данные, примеры ответов и иногда история переписки. При ручной правке убирают повторы и сокращают громоздкие формулировки, сохраняя условия задачи. Пример с редким исключением требует внимания: если условие больше нигде не описано, вместе с примером оно исчезнет из запроса.
Автоматический компрессор выбирает, какие фрагменты сохранить, чтобы уложиться в бюджет токенов. Пересказ документа другой моделью требует отдельного запроса и несет риск потерять детали.
Сравним исходную и сокращенную вручную инструкции на одной модели. Для оценки LLMLingua или другого компрессора в тест надо добавить версию, полученную этим методом.
В Roo Code функция Intelligent Context Condensing суммирует ранние сообщения, чтобы продолжить длинный диалог. В нашем сравнении исходные данные будут одинаковыми; каждую редакцию отправим отдельным запросом без истории переписки, чтобы предыдущие ответы не влияли на результат.
Короткая инструкция должна решать ту же задачу
Сравним три версии инструкции для расчета доставки в условном магазине. В правилах есть порог бесплатной доставки и исключения для экспресса и крупногабаритных заказов; по ним удобно проверить, какие условия сохранились при сокращении промпта.
Вариант А (исходная инструкция)
Определи стоимость доставки заказа в рублях по правилам ниже.Используй только данные заказа и эти правила. Для расчета нужны amount_after_discount, delivery и oversized. Если хотя бы одно поле отсутствует или равно null, верни только
JSON {"status":"clarify","delivery_price":null}.Сумма заказа amount_after_discount указана после всех скидок. Обычная доставка (
delivery="standard") стоит 390 рублей. При сумме от 5000 рублей включительно обычная доставка бесплатна. Экспресс-доставка (delivery="express") стоит 790 рублей при любой сумме заказа.Для крупногабаритного заказа (
oversized=true) доставка стоит 1490 рублей независимо от суммы и вида доставки; это правило имеет приоритет над остальными правилами цены.Если все три поля заполнены, верни только JSON с полями
status="ok"иdelivery_price=рассчитанная цена. Не добавляй пояснения и Markdown. Данные заказа: {данные тестового случая}
Вариант B (компактная запись тех же условий)
Определи стоимость доставки заказа в рублях по правилам ниже. Используй только данные заказа и эти правила. Для расчета нужны amount_after_discount, delivery и oversized. Если хотя бы одно поле отсутствует или равно null, верни только
JSON {"status":"clarify","delivery_price":null}. Сумма заказаamount_after_discountуказана после всех скидок. Обычная доставка (delivery="standard") стоит 390 рублей. При сумме от 5000 рублей включительно обычная доставка бесплатна. Экспресс-доставка (delivery="express") стоит 790 рублей при любой сумме заказа. Для крупногабаритного заказа (oversized=true) доставка стоит 1490 рублей независимо от суммы и вида доставки; это правило имеет приоритет над остальными правилами цены. Если все три поля заполнены, верни только JSON с полямиstatus="ok"иdelivery_price=рассчитанная цена. Не добавляй пояснения и Markdown. Данные заказа: {данные тестового случая}
Вариант C (плотная запись)
Цена доставки, ₽; только правила ниже и данные заказа.
amount_after_discount— сумма после всех скидок.Обязательныamount_after_discount,delivery,oversized:нет поля/null → {"status":"clarify","delivery_price":null}.Иначеstatus="ok";delivery_price — первое совпадение:oversized=true → 1490;delivery=express → 790;delivery=standard → amount_after_discount>=5000 ? 0 : 390.ТолькоJSON {status, delivery_price}, без пояснений/Markdown.Заказ: {данные тестового случая}
В вариантах B и C сохранены тарифы, сумма после скидок, порог бесплатной доставки, приоритет крупногабаритного заказа и запрос уточнения при нехватке данных. В варианте C часть слов заменена стрелками и тернарным выражением; порядок строк задает приоритет правил.
Если сократить условие до «Доставка бесплатна от 5000 рублей», исчезнет уточнение про обычную доставку. Правильный ответ на одном заказе такую потерю не выявит: для проверки исключения нужен заказ с экспресс-доставкой.
Перед тестом сверим сокращенные версии с полным списком условий и измерим число токенов.
Проверяем варианты на модели
Сравним B и C с исходной инструкцией A на GPT-4.1 Mini в BotHub.Она ориентирована на выполнение инструкций и поддерживает вывод в JSON — такой формат нужен для проверки цены доставки. Тексты зафиксируем до запуска. Если после просмотра ответов внесем правки, повторим сравнение на новых случаях; в противном случае легко подогнать инструкцию под знакомые ответы.
Проверим порог бесплатной доставки, приоритет тарифов и обработку неполных данных. В третьем случае добавим в JSON amount_before_discount: 5200: модель должна считать доставку по сумме после скидки — 4990 рублей.
№
amount_after_discount
delivery
oversized
Ожидаемый status / delivery_price
1
4999
standard
false
ok / 390
2
5000
standard
false
ok / 0
3
4990
standard
false
ok / 390
4
5000
express
false
ok / 790
5
10000
express
false
ok / 790
6
4999
standard
true
ok / 1490
7
5000
standard
true
ok / 1490
8
5000
express
true
ok / 1490
9
поле отсутствует
standard
false
clarify / null
10
5000
поле отсутствует
false
clarify / null
11
5000
standard
поле отсутствует
clarify / null
12
5000
standard
null
clarify / null
Каждый случай проверим со всеми тремя промптами. Модель, системное сообщение и настройки оставим одинаковыми: temperature=0, top_p=1, max_tokens=512. Поиск и дополнительные инструменты отключим.
Для отправки запросов и сохранения служебных данных используем OpenAI-совместимый API BotHub. В интерфейсе каждый запрос нужно отправлять в новый чат, чтобы история переписки не влияла на ответ.
Каждый случай прогоним по три раза с A, B и C; всего 108 запросов. Повторы помогут проверить устойчивость ответа на одних данных. Порядок запросов перемешаем, чтобы снизить влияние изменений нагрузки сервиса на сравнение.
Вместе с ответами сохраним дату, настройки, запрошенный и возвращенный идентификаторы модели, провайдера, если он указан. Смена версии или маршрута должна быть видна при разборе результатов.
Для каждого ответа проверим:
-
JSON разбирается и содержит ровно два нужных поля;
-
status совпадает с ожидаемым;
-
delivery_price содержит правильное число или null.
Ответ с верной ценой в невалидном JSON проверку не проходит. Пробелы и порядок полей значения не имеют.
Версию A проверяем по тем же требованиям. В каждой паре посчитаем четыре исхода: справились обе версии; только исходная; только сокращенная; ошиблись обе. Так в результат попадут и случаи, когда короткий промпт сработал лучше длинного.
Сведем замеры в одну таблицу:
Показатель
Что фиксируем
Входные токены
usage.prompt_tokens; экономию считаем относительно A на тех же случаях
Выходные токены
usage.completion_tokens, включая неудачные ответы
Качество
Число верных ответов из 36 для каждого варианта и ошибки по каждому из 12 случаев
Типы ошибок
Неверная цена, ошибка при неполных данных, нарушение формата
Стоимость
Расходы на все попытки и стоимость одного принятого результата
Для этого теста потребуем сохранить все правила и пройти все проверки. Результат 36 из 36 будет относиться к 12 случаям на одной модели; будущую частоту ошибок по нему определить нельзя. Перед использованием инструкции в работе расширим набор: добавим другие суммы, сочетания условий и реальные заказы.
Как посчитать экономию
В стоимость запроса входят входные и выходные токены — каждый по своему тарифу. Без учета кэша расчет выглядит так:
Стоимость запроса =
(входные токены × цена 1 млн входных токенов
+ выходные токены × цена 1 млн выходных токенов) / 1 000 000
Сравним два промпта на условном примере. В исходном — 2000 токенов, в сокращенном — 1200; оба ответа занимают по 600 токенов. Выходной токен стоит вчетверо дороже входного.
В единицах стоимости входного токена получаем:
A: 2000 + 600 × 4 = 4400
B: 1200 + 600 × 4 = 3600
Вход сократился на 40%, расходы на запрос — примерно на 18%. Если короткая инструкция вызовет более длинный ответ или потребует повторного запроса, экономия уменьшится.
К расходам добавим работу компрессора. Стоимость однократного сжатия документа распределим между обращениями, в которых используется его короткая версия. Если перед каждым запросом обрабатывается новый контекст, сжатие оплачивается каждый раз. При ручной редактуре учитываем время на подготовку и проверку шаблона.
На сравнение влияет и кэширование. Если длинный префикс читается из кэша, а короткая версия отправляется впервые, расходы зависят от условий обработки кэшированных токенов. Сохраним счетчики чтения и записи кэша, а стоимость сверим с фактическими списаниями или ценами своего тарифа.
Для сравнения версий посчитаем стоимость результата, который прошел все проверки:
Стоимость принятого результата = (расходы на все запросы + расходы на автоматическое сжатие)/число принятых результатов
В числитель войдут и неудачные попытки. Для всех версий заранее зададим одинаковые правила исправления ответа и лимит повторных запросов. Если ни один результат не принят, стоимость по этой формуле рассчитать не можем.
В примере с доставкой инструкция должна возвращать верную цену и валидный JSON. Вариант, который потерял правило о крупногабаритном заказе, для работы не подходит независимо от экономии токенов.
Если захотите проверить свою инструкцию, тест можно повторить в BotHub или напрямую через API модели. По результатам будет видно, удалось ли сэкономить и как сокращение повлияло на ответы.
Выводы
Что у меня получилось выяснить:
-
Промпт удается сократить без заметной потери качества, но допустимая степень сжатия зависит от задачи и модели. Условия требуют внимания: в примере с доставкой удаление слова «обычная» меняет правило.
-
Проверять версии нужно на одинаковых данных, включая исключения и пропущенные поля. Повторите A/B-тест в одной модели; успешный небольшой тест потом расширьте новыми случаями.
-
Экономию считайте по стоимости принятого результата. В расчет входят входные и выходные токены, компрессия, повторные попытки и кэш. Меньше токенов в промпте — только часть этого расчета.
Источник: habr.com