Недавно компания ElevenLabs поделилась информацией о том, насколько хорошо работает её агент поддержки на основе AI. Хотя система успешно справляется с большинством вопросов, связанных с документацией, она начинает испытывать трудности при решении более сложных задач.
По данным компании, их агент с искусственным интеллектом, встроенный в систему документации, ежедневно обрабатывает около 200 звонков в службу поддержки. Результаты внутреннего анализа, проведённого на основе ручной обработки 150 звонков, свидетельствуют о том, что система эффективно справляется примерно с 80% запросов пользователей.
В основе работы системы лежат несколько ключевых элементов. Подробное описание представляет AI-агента как «Алексис», представителя службы технической поддержки, и содержит конкретные рекомендации. Они включают инструкции по форматированию текста для воспроизведения в виде речи, работе с разными языками и использованию инструментов для переадресации запросов при необходимости.
Система использует базу знаний, которая включает сокращённую версию документации ElevenLabs (объёмом около 80 000 символов) и соответствующие URL-адреса, а также конкретные разделы часто задаваемых вопросов и пояснения.
Для отслеживания производительности система использует AI для мониторинга различных показателей, включая точность (проверку отклонений от базы знаний), качество взаимодействия и процент успешных решений. Она также отслеживает различные типы проблем, категории продуктов и ведёт учёт нерешённых проблем и ответов пользователей.
Данные об использовании показывают некоторые интересные закономерности. Многие пользователи просто тестируют возможности системы, пробуя разные языки или нетехнические темы для общения. Даже при наличии защитных мер система иногда отклоняется от тем, связанных со службой поддержки.
В чём агент действительно хорош, так это в ответах на конкретные вопросы по документации, например, о конечных точках API или вариантах интеграции. Однако у него есть явные ограничения: он склонен отвечать на расплывчатые вопросы вместо того, чтобы попросить разъяснений, с трудом объясняет примеры кода голосом и часто отвечает на сложные вопросы длинными списками рекомендаций.
Система также испытывает сложности в решении вопросов, связанных с учётными записями, определением стоимости и отладкой. Кроме того, она не способна корректно обрабатывать повторяющиеся ошибки при проверке.
Компания ElevenLabs пришла к выводу, что их AI-агент лучше всего работает с определённой аудиторией, которой нужна простая помощь с документацией. Для решения более сложных вопросов, таких как устранение неполадок или ценообразование, по-прежнему требуется участие человека.
Источник
Источник: habr.com
