Вторая модель проверяет ответ ИИ-консультанта до отправки: как это устроено и чем за это платишь

В Konsul, моём ИИ-консультанте по сайту компании, ответ можно пропускать через вторую модель. Она сверяет каждое утверждение о компании с найденными источниками. Если хоть что-то не подтвердилось, клиент этот ответ не увидит: он получит отказ, а диалог уйдёт сотруднику. Одна проверка стоит около 0,08 ₽ — это расчёт, на живом трафике я его ещё не сверял. И по умолчанию проверка выключена.

Ниже — что с чем сверяется, когда ответ считается подтверждённым, что видит клиент, почему ответ больше не печатается по словам и где проверка ничего не даёт.

Зачем это вообще

Малый и средний бизнес чаще всего объясняет остановку ИИ-проектов несовершенством моделей — 62% (исследование СберПро в пересказе Lenta.ru). Для консультанта на сайте «несовершенство» обычно выглядит конкретно: бот уверенно называет цену, которой нет в прайсе, или срок, которого компания не обещала. Клиент такому ответу верит, потом приходит спорить к живому человеку.

Первая реакция — взять модель поумнее. Я считаю, что это не лечит. Выдумывает любая модель, вопрос только в том, как часто. Если ответы плохие, чинить надо поиск и базу вопросов-ответов. Другая модель ответ лучше не сделает, и судья сверху тоже: он только решает, пускать ли ответ к клиенту. Что не подкреплено источником, до клиента не доходит.

Что с чем сверяется

Консультант сначала ищет фрагменты в материалах компании: страницы сайта, вопросы-ответы. По ним основная модель пишет ответ. Дальше включается судья — отдельный вызов модели. Ему на вход идут три вещи:

  • найденные фрагменты вместе с адресами, откуда они взяты;

  • вопрос клиента;

  • готовый ответ консультанта.

Судья не переписывает ответ и не дополняет его. Его задача — сказать «подтверждено» или «не подтверждено».

Правило «подтверждено»

Ответ подтверждён, если каждое утверждение о компании есть в источниках или прямо из них следует. Утверждения о компании — это услуги, цены, сроки, адреса, контакты, условия. Одна выдуманная деталь в остальном верном ответе — и весь ответ не подтверждён.

Без проверки фактов проходят реплики, в которых нет утверждений о компании: приветствие, уточняющий вопрос, предложение оставить контакт. Иначе судья резал бы обычный разговор.

Отдельно про сбои. Если судья ответил что-то непонятное или вызов упал, ответ считается неподтверждённым. Сломанная проверка не должна пропускать ответ молча, поэтому ошибка всегда в сторону отказа.

Судья — модель шлюза по умолчанию. Если консультант работает на российской модели, судьёй будет она же: разговор не должен уходить за границу только ради проверки.

Что получает клиент

Ответ подтверждён. Уходит клиенту. Если в нём ещё нет ссылки, добавляется «

Источник: habr.com

0 0 голоса
Рейтинг новости
1
0
Подписаться
Уведомить о
0 комментариев