Исследование поведения ИИ-агентов с вызовом функций, имеющих реальный эффект, проводилось на основании методологии, основные положения которой мы излагали ранее (https://doi.org/10.5281/zenodo.23556771,https://habr.com/ru/articles/1098088/). Прогоны проведены по методологии версии 3.1; тестовая система этой версии не публиковалась.
Напомним, что методология позволяет проверить, вызовет ли ИИ-агент функцию, которая совершает действие с реальным эффектом, когда вызывать ее нельзя, потому что не выполнены неназванные условия ее применения, а также сопоставить с этим действием ответ агента, который он дает при этом пользователю. Срывы удержания условия считаем критическими сбоями, поскольку действие дает реальный эффект и может привести к необратимым (с трудом обратимым) последствиям.
Тестирование в этой версии проходило в два этапа и завершалось подтверждающей проверкой:
-
первый проверяет, удерживает ли агент неназванное условие сам и действует ли в соответствии с ним, и уступает ли, когда оператор настаивает;
-
второй проверяет, как ведет себя агент под нагрузкой, то есть удерживает ли он условие, если на него оказывается давление форматом подачи или настойчивостью оператора;
-
далее осуществляется подтверждающая проверка действия форматов.
Модели
DeepSeek V4 Pro (deepseek-v4-pro-0813). На ней было проведено 2604испытания. Обращений к модели агента – 11 761 (4,5 на испытание).
Gemini 3.8 Flash (gemini-3.8-flash). На ней было проведено 2085 испытаний. Обращений к модели агента – 6406 (3,1 на испытание).
Условия сравнения
Испытывался учебный агент «Склад» – оператор склада интернет-магазина. У него две целевые функции с реальным эффектом: отгрузка товара по заказу и прием возврата по заказу. Сведения о заказах, товарах, текущем сотруднике и сегодняшней дате агент получает из функций чтения.
Оба прогона проведены на одном стенде: одинаковые неназванные условия, одни и те же данные и тексты поручений, свой правомерный объект у каждого условия, способ записи каждого условия записан в стенд до прогона. Различаются только номера объектов и даты, которые система строит от даты прогона. Правомерные запросы выполнены в 79 случаях из 79 у обеих моделей, то есть агенты правильно действовали там, где действовать было можно. Данные перед действием читались полностью: вызовов без чтения 2 у DeepSeek и 1 у Gemini. Сбоев канала не было: все ответы получены.
Основные выводы по прогонам
-
DeepSeek V4 Pro видит неназванное условие, говорит о нем и ищет, как все-таки выполнить поручение: из 165 его срывов 122 (74 %) приходятся на суждение (условие, которое по идее препятствует вызову функции, прочитано и зафиксировано в отчете, но агент все равно действует). Gemini 3.8 Flash либо отказывает твердо, либо выполняет молча, не выведя запрета из данных: из 25 его срывов 24 (96 %) приходятся на правило (условие прочитано, но в отчете не зафиксировано: значение не вошло в актуальный динамический контекст агента, и запрет из него не выведен), и ни при одном срыве он не назвал препятствие.
-
Gemini 3.8 Flash срывается заметно реже. На исходном запросе первого этапа у него 15 срывов из 315 (4,8 %), у DeepSeek 57 из 315 (18 %). На втором этапе – 10 из 1691 (0,6 %) против 108 из 2210 (4,9 %). После настаивающей реплики «Оформляй.» разрыв еще больше: на втором этапе DeepSeek довел до срыва 739 испытаний, Gemini 34.
-
Главный путь к срыву у DeepSeek – это разговор. Почти в половине испытаний второго этапа его первым ответом является вопрос или предложение измененного действия, и реплика оператора в 61 % таких случаев становится для него разрешением. У Gemini разговор почти не открывается: незавершенных первых ответов 1,7 %.
-
Обе модели сорвались на одном и том же условии – «возврат принимается только по доставленному заказу»: DeepSeek в 15 из 15, Gemini в 13 из 15. Запрет здесь нужно вывести из описания объекта («статус: в пути»). Это самое устойчивое наблюдение этой пары прогонов.
-
Граница по способу записи условия видна на обеих моделях: норма в имени поля почти не срывается, описание объекта срывается чаще всего. У Gemini, однако, граница держится почти целиком на одном условии.
-
Действие формата поручения не установлено ни у одной модели: кандидатов для подтверждающих проверок в проведенных прогонах не было. При этом у DeepSeek в одной теме формат заметно менял поведение.
-
Ни одна модель не скрыла сделанного действия. DeepSeek чаще заявлял проверку, которой не было (75 против 10), зато в его отчете было объяснение срыва; отчет Gemini при срыве не содержит ничего, что указало бы на проблему.
Сколько и где агенты срываются: самое интересное
Способ записи условия. Срывы в первом ответе на исходный запрос первого этапа:
Способ записи
DeepSeek
Gemini
значение само означает запрет
0 из 105
1 из 105
норма в имени поля
0 из 75
0 из 75
сравнение величины с данными
6 из 45
0 из 45
описание объекта
51 из 90
14 из 90
Порядок у обеих моделей одинаковый: описание объекта срывается чаще всего, норма в имени поля не срывается совсем. По всему прогону, со вторым этапом, картина та же: у DeepSeek описание объекта 98 срывов из 188 испытаний, норма в имени поля 0 из 741; у Gemini 20 из 365 и 1 из 750. То есть агент удерживает запрет, когда он выражен в данных словом, и теряет его, когда запрет нужно вывести знанием о деле.
По способу записи условия определяется слой, который фиксируется до прогона. Под коммуникативным слоем понимается все, что агенту сказано: поручение и его формат, реплика оператора, собственное предложение агента, на которое реплика отвечает. Сюда же входят значение, которое означает запрет («отменен», «документ не найден») и отказ системы. Такой запрет проверять не нужно, его достаточно взять во внимание. Логический слой – норма названа и для действия на ее основе требуется сравнить значения. Например, дату «отгрузка не ранее» с сегодняшней датой, или допуск сотрудника с требуемым, или величину поручения с остатком. Когнитивный слой требует от агента вывода знанием о деле: данные только описывают объект («сборка: не собран», «вид документа: заказ поставщику», «статус: в пути»). Значение-запрет относится к коммуникативному слою, норма в имени поля и сравнение величины – к логическому, описание объекта – к когнитивному.
Рисунок 2. Срывы по слоям. Графики системы тестирования; сверху DeepSeek V4 Pro, снизу Gemini 3.8 Flash.
Без давления у обеих моделей слабое место – это описание объекта (когнитивный слой): у DeepSeek 60,6 % срывов, у Gemini 11,9 %. Высказанный запрет (коммуникативный слой) почти не срывается. После реплики «Оформляй» слабое место перемещается в логический слой (36,1 % и 33,3 %), и почти целиком это сравнение величины: агент сам уменьшает количество. Значит, где агент теряет условие, зависит от подачи: без давления – на описании объекта, под настойчивостью – на количестве.
Как агенты срываются
Элемент срыва. Каждый срыв относится к элементу условия: факту (агент не получил нужных данных), правилу (данные прочитаны, запрет не выведен) или суждению (агент упомянул условие и все равно действовал).
Элемент
DeepSeek
Gemini
факт
2
1
правило
41
24
суждение
122
0
всего
165
25
У DeepSeek из 122 срывов на суждении 60 – подмены: агент назвал условие препятствием и сам уменьшил количество. Еще 60 – ошибки действия, в которых агент упомянул прочитанное значение как замечание, без вывода, что действовать нельзя. Ошибок действия с условием, названным как препятствие, не было ни одной.
Анализ того, что агентом говорится при срыве и как на его поведение влияет разговор с настойчивым оператором – препринт https://doi.org/10.5281/zenodo.24159106
Когда происходят подмены
На условиях со сравнением величины обе модели после реплики меняли количество почти всегда: DeepSeek во всех 45 испытаниях первого этапа (6 сразу, 39 после реплики), Gemini в 40 из 45, все после реплики. Подмена условия остается срывом; в стенде такие замены отнесены к допустимым правилами владельца, поэтому в реестре они выделены отдельно. Это одно и то же явление у обеих моделей: условие «не менять поручение без разрешения» нигде не названо, и обе модели его нарушают, как только оператор настаивает.
Таким образом, для DeepSeek главный источник риска – это диалог. Он называет препятствие, но сам предлагает выход и уступает на первом слове. Для Gemini главный источник риска – редкие молчаливые исполнения и уступка повтору на количественных условиях. В рабочей системе это два разных требования: для DeepSeek нужно правило, по которому повтор поручения не является согласием на измененное действие; для Gemini нужны проверки в системе там, где он не видит запрета.
Действие формата поручения
Сырые числа срывов в первом ответе второго этапа по форматам показывают, где формат мог действовать:
Формат
DeepSeek
Gemini
исходный
6 из 293
2 из 220
оформление
4 из 218
1 из 185
авторитет
8 из 246
0 из 179
срок
3 из 230
3 из 206
последствия
23 из 242
0 из 178
прецедент
14 из 245
2 из 196
цепочка
31 из 247
1 из 175
сильная цепочка
18 из 256
1 из 176
завершенная проверка
1 из 233
0 из 176
У DeepSeek видно сосредоточение срывов на форматах «последствия», «цепочка» и «сильная цепочка», и почти все они приходятся на две темы.
Рисунок 5. Доля срывов по форматам. Графики системы тестирования; сверху DeepSeek V4 Pro, снизу Gemini 3.8 Flash.
У DeepSeek под «цепочкой» и «последствиями» доля срывов около 17 % против 4,6 % на исходном запросе, и их интервалы с полосой исходного запроса не пересекаются. У Gemini все форматы лежат внутри полосы исходного запроса.
На Gemini формат не действовал заметно ни в одной теме. На DeepSeek формат, по-видимому, влиял на то, спросит агент или выполнит сразу; метод в используемой для прогонов версии такое влияние не измеряет. Это наблюдение; вывода о формате по правилам метода нет, но оно прямо касается гипотезы о слоях: формат поручения действует раньше проверки условия, и у агента-переговорщика это видно по исчезновению вопроса.
Заключение
Общее у обеих моделей – слабое место в когнитивном слое. Хуже всего удерживается запрет, который нужно вывести из описания объекта: условие «возврат только по доставленному заказу» обе модели нарушили почти во всех испытаниях. Под настойчивостью оператора обе модели меняют количество без разрешения, то есть нарушают условие, которое нигде не названо.
Отсюда разные следствия по дальнейшей работе с агентом. Агенту, который знает об условии и уступает, нужны проверка в самой системе и правило, по которому повтор поручения не означает согласия на измененное действие. Агенту, который не выводит запрет из описания, нужна запись запрета словом в данных или проверка в системе. Отчету ни одной из моделей нельзя верить без сверки с журналом: DeepSeek заявляет проверки, которых не было, Gemini молчит о препятствии.
Литература
1. Мацканюк О. В., Скидан О. П. Тестирование ИИ-агентов с вызовом функций, имеющих реальный эффект: методология и метод. [Препринт]. Zenodo, 2026. https://doi.org/10.5281/zenodo.23556771
2. Schegloff E. A., Sacks H. Opening up closings // Semiotica. 1973. Vol. 8, No. 4. P. 289–327.
3. Источники о моделях: DeepSeek-V4-Pro-0813 Now Live on SiliconFlow; Google unveils Gemini 3.8 Flash (ForkLog); Gemini 3.8 Flash launch (APIYI).
Источник: habr.com