Я Майя Шуралева, UX-исследователь в Экстерне. Сегодня расскажу вам, как устроен RAG-поиск по архиву UX-исследований в Контуре.
За много лет работы в разных продуктах Контура накопилась большая база проведенных качественных и количественных исследований.
Огромное знание распределено между людьми и разрозненными местами хранения артефактов. Чтобы ответить на простой вопрос «что мы уже знаем?», нужно вспомнить, были ли уже исследования на эту тему, найти нужный файл и вычитать имеющиеся материалы в поисках ответа. Если исследователь, обладающий контекстом по проведенным исследованиям, ушёл в другой проект — поиск ответа на вопрос может надолго затянуться. В итоге команда рискует повторить уже проведенное исследование, либо принять некачественное решение «по памяти».
Мы попробовали закрыть эту проблему RAG-поиском по архиву документов исследований всего Контура. В статье расскажу, что оказалось важным при внедрении инструмента, какие задачи он уже позволяет закрывать, а где мы до сих пор не готовы ему доверять.
Что делает RAG-поиск
RAG (retrieval-augmented generation) ищет в вашем архиве исследований релевантные источники и выдает их ответом на ваш запрос.
Качество ответа такого ассистента определяется двумя факторами:
— Структура организации архива исследований
— Насколько подробно составлен вопрос к ассистенту.
Корпус важнее модели
Первое, что мы сделали — договорились о структуре артефактов исследований. Каждое исследование — папка с набором файлов:
— вводные по исследованию (контекст, цели, гипотезы, аудитория, метод, сроки),
— ключевые выводы,
— рекомендации для команды разработки,
— ссылки и артефакты.
Мы решили остановиться именно на такой структуре, чтобы во всех продуктах Контура была единая система хранения файлов исследования. Так RAG-поиск может проще и быстрее находить требуемые данные по ключевым словам в каждом исследовании.
Составление запроса RAG-поиску
В запросе должны быть указаны: продукт, тема, сегмент, период и что именно нужно узнать. Запрос должен быть конкретным: при слишком общем запросе ассистент принесет много лишней информации. Вот примеры формулировок, которые дают хороший ответ:
-
перед запуском нового исследования: «Что мы уже узнавали у ИП, которые сами сдают отчётность, про продление в 2024–2026 годах: какие выводы, с какой выборкой работали и какие вопросы остались открытыми?»;
-
проверка «не спрашивали ли мы это у пользователей»: «Были ли исследования, где спрашивали про фильтр по коду ИФНС? Если да — что выяснили?»;
-
сборка контекста по сегменту: «Собери все исследования по аутсорсерам за 2025–2026 годы: тема, метод, выборка, ключевые выводы, ссылки»;
Что получается хорошо
Там, где вопрос звучит как «найди и покажи», ассистент справляется хорошо. Инструмент помогает искать ответы на вопросы как исследователям, так и другим ролям в продуктовой команде. В каких сценариях RAG-поиск особенно полезен:
-
перед запуском нового исследования — что уже узнавали у пользователей по этой теме, с какой выборкой работали, что выяснили и какие вопросы остались открытыми;
-
сборка контекста по сегменту или сценарию — вместо ручного поиска материалов в разных источниках можно получить полный список исследований по теме и выводы к ним;
-
проверка «не спрашивали ли мы это у пользователей»;
-
онбординг — новый человек в команде может быстро получить контекст по основным сценариям и сегментам продукта без необходимости самостоятельного поиска материалов;
-
сверка лет — похожие исследования разных лет хранятся и анализируются вместе; сразу видно, что изменилось, а что осталось прежним.
Что пока получается слабо
-
Есть ограничение на чтение таблиц и изображений RAG-поиском,
-
Свежесть исследований нужно проверять. RAG-поиск не учитывает, что какие-то выводы могли уже стать неактуальными.
-
Артефакты некоторых исследований могут храниться с закрытым доступом. Необходимо переносить материалы в другое пространство или искать авторов исследования и запрашивать доступ к файлам.
Заключение
RAG-поиск по архиву исследований — это способ наконец воспользоваться тем, что мы уже знаем. Его внедрение требует определенной подготовки, так как качество ответа во многом определяется грамотной организацией архива исследований. Пока каждое исследование — это папка с вводными, выводами, рекомендациями и артефактами, ассистент находит нужное и честно ссылается на источник, не искажая результаты.
Однако у текущего инструмента есть и ограничения. Ассистент слабо читает таблицы и изображения, а самое ценное в отчётах часто лежит именно в них. Он не знает, что какие-то выводы уже устарели: свежесть и применимость результата по-прежнему проверяет человек.
Поэтому мы относимся к инструменту как к хорошему навигатору, а не как к источнику истины: он быстро показывает, где и какую информацию стоит искать, а решение остаётся за автором запроса.
Больше интересного про UX-исследования в телеграм-канале «Сдоба»🥨
Источник: habr.com