
В Konsul, моём ИИ-консультанте по сайту компании, ответ можно пропускать через вторую модель. Она сверяет каждое утверждение о компании с найденными источниками. Если хоть что-то не подтвердилось, клиент этот ответ не увидит: он получит отказ, а диалог уйдёт сотруднику. Одна проверка стоит около 0,08 ₽ — это расчёт, на живом трафике я его ещё не сверял. И по умолчанию проверка выключена.
Ниже — что с чем сверяется, когда ответ считается подтверждённым, что видит клиент, почему ответ больше не печатается по словам и где проверка ничего не даёт.
Зачем это вообще
Малый и средний бизнес чаще всего объясняет остановку ИИ-проектов несовершенством моделей — 62% (исследование СберПро в пересказе Lenta.ru). Для консультанта на сайте «несовершенство» обычно выглядит конкретно: бот уверенно называет цену, которой нет в прайсе, или срок, которого компания не обещала. Клиент такому ответу верит, потом приходит спорить к живому человеку.
Первая реакция — взять модель поумнее. Я считаю, что это не лечит. Выдумывает любая модель, вопрос только в том, как часто. Если ответы плохие, чинить надо поиск и базу вопросов-ответов. Другая модель ответ лучше не сделает, и судья сверху тоже: он только решает, пускать ли ответ к клиенту. Что не подкреплено источником, до клиента не доходит.
Что с чем сверяется
Консультант сначала ищет фрагменты в материалах компании: страницы сайта, вопросы-ответы. По ним основная модель пишет ответ. Дальше включается судья — отдельный вызов модели. Ему на вход идут три вещи:
-
найденные фрагменты вместе с адресами, откуда они взяты;
-
вопрос клиента;
-
готовый ответ консультанта.
Судья не переписывает ответ и не дополняет его. Его задача — сказать «подтверждено» или «не подтверждено».

Правило «подтверждено»
Ответ подтверждён, если каждое утверждение о компании есть в источниках или прямо из них следует. Утверждения о компании — это услуги, цены, сроки, адреса, контакты, условия. Одна выдуманная деталь в остальном верном ответе — и весь ответ не подтверждён.
Без проверки фактов проходят реплики, в которых нет утверждений о компании: приветствие, уточняющий вопрос, предложение оставить контакт. Иначе судья резал бы обычный разговор.
Отдельно про сбои. Если судья ответил что-то непонятное или вызов упал, ответ считается неподтверждённым. Сломанная проверка не должна пропускать ответ молча, поэтому ошибка всегда в сторону отказа.
Судья — модель шлюза по умолчанию. Если консультант работает на российской модели, судьёй будет она же: разговор не должен уходить за границу только ради проверки.
Что получает клиент
Ответ подтверждён. Уходит клиенту. Если в нём ещё нет ссылки, добавляется «
Источник: habr.com