В августе прошёл Bugs Busters — митап для QA-специалистов от ЮMoney. Спикеры компании рассказали, как применяют ИИ для анализа причин падения e2e-автотестов, как устроен инструмент для подбора оптимальной LLM-модели под конкретную задачу и как строить обвязку вокруг агентов. Пропустили митап? Собрали главное из докладов и приложили записи выступлений.
Разбираем падения автотестов с помощью ИИ
Александр, руководитель группы разработки инструментов тестирования ЮMoney, поделился опытом создания помощника для разбора упавших автотестов. Рабочий рецепт починки автотеста: добавляем стек-трейс, шаги, логи приложений бэкенда и фронтенда, HTML — и правильный промпт.
Проверяем, подходит ли LLM для задачи
Максим, старший программист ЮMoney, рассказал, как определить, какая модель лучше справится с конкретной задачей. В основе подхода — инструмент для оценки моделей с помощью LLM-судьи. Быстро оценивать качество ИИ-моделей можно с помощью готовых open-source-решений со встроенным LLM-судьёй — например, взять Langfuse и дополнить его удобной UI-обёрткой для работы с датасетами и отчётами.
Собираем обвязку вокруг LLM-агента
Олег, старший специалист по тестированию производительности ЮMoney, объяснил, зачем нужна обвязка LLM-агента и какие задачи она решает. В докладе разобрали, из каких компонентов состоит harness, как написать собственную обвязку и убедиться в её работоспособности.
Записи докладов
Не удалось попасть на митап? Записи всех выступлений уже доступны во ВКонтакте, на Rutube и YouTube.
Источник: habr.com