Если вы руководите отделом контроля качества, знакомо чувство: данные вроде бы собираются, а решения все равно принимаются на глаз. В Test IT к вопросу устранения разрыва между сбором данных и управлением тестированием по данным подошли комплексно. Изучили мнения и запросы, проанализировали, что есть внутри платформы и выстроили целую цепочку изменений. В результате – в новом обновлении мы решаем вопрос работы с данными с помощью специального аналитического модуля.
Обратная связь сообщества подтвердила тезис команды Test IT
Согласно результатам опроса Test IT – 66% команд регулярно отслеживают статус прохождения тестовых прогонов как основной показатель качества. 63% респондентов того же исследования утверждают, что системно мониторят количество, серьезность и время жизни багов.
База для управленческих решений есть почти у всех. Но регулярность использования этих данных ниже: только 9% применяют метрики постоянно, остальные обращаются к ним от случая к случаю.
Получается, решения о приоритетах, найме и распределении нагрузки в большинстве компаний принимаются без систематической опоры на цифры. Зачастую причина в том, что данные распределены по разным системам.
Возникает риск формального отношения к метрикам
Самый распространенный кейс в тестировании: команда использует платформу управления тестированием как основной источник для отчетности. Остальные данные, включая баги и задачи, находятся в других инструментах. И когда метрики нужно сводить вручную из нескольких систем, регулярный анализ превращается в разовую подготовку к ретроспективе или квартальному отчету. Руководитель не опирается на ежедневную картину по продукту.
Для самого тестировщика работа с метриками и данными тоже превращается в квест. Большую часть времени он работает с конкретными задачами: написал тесты, запустил автотесты, нашел ошибки, закрыл прогон.
Но в какой-то момент нужно ответить на вопросы: сколько мы вообще тестируем, что происходит с тест-планами, насколько хорошо работает автоматизация, где команда тратит силы и что в процессе можно улучшить.
Как в Test IT решили вопрос с доступом к актуальным данным
Теперь руководитель может оценить результаты тестирования за определенный период, посмотреть состояние тест-планов и изучить показатели автоматизации. Инженеру при этом не нужно каждый раз собирать отдельный отчет с нуля: основные данные уже представлены в аналитическом разделе.
Задача нового модуля «Аналитики+» — дать команде возможность оценивать процесс тестирования по измеримым показателям. Модуль собирает данные в отдельном разделе Test IT и представляет их в виде таблиц, диаграмм и числовых значений. Результаты можно отбирать по проекту, периоду и другим доступным фильтрам, чтобы сравнивать показатели в нужном контексте.
В обновлении Test IT ver. 6.0 Norma сценарии использования модуля Аналитика + затрагивают:
-
Ручное тестирование – можно смотреть, что происходит с ручными проверками, не собирая показатели вручную из разных мест.
-
Тест-планы – функциональность помогает видеть состояние и движение работы по тест-планам.
-
Автотестирование – модуль дает отдельную картину по автоматизированным проверкам.
4 сценария работы, которые уже облегчают жизнь тестировщиков с Test IT
1. Библиотека тестов: объем и актуальность
Виджеты показывают количество тестовых объектов, долю автоматизированных тест-кейсов и долю кейсов, сгенерированных с помощью ИИ. Показатели обновляются в реальном времени, поэтому руководитель может отслеживать изменения в библиотеке и оценивать, как развивается автоматизация.
Отдельный виджет выделяет тест-кейсы, которым может потребоваться обновление. По рекомендациям можно перейти к конкретным кейсам и проверить, какие из них нуждаются в доработке.
Так Test IT позволяет проще видеть актуальность тестовой документации, определять объем предстоящих изменений и планировать работу с библиотекой.
2. Автоматизация: какие проверки брать в работу
Чтобы определить приоритеты автоматизации, можно посмотреть, какие ручные тест-кейсы занимают больше всего времени. Такой список помогает найти проверки, автоматизация которых потенциально сократит объем ручной работы. При выборе задач эти данные можно сопоставлять с текущим соотношением ручных тест-кейсов и автотестов.
Другой сценарий связан со стабильностью автоматизации. Аналитика позволяет выявлять проблемные тесты и оценивать стабильность проверок в разрезе компонентов системы или классов имен.
Это помогает обнаруживать участки, в которых автоматизированные проверки чаще требуют внимания, и определять направления для дальнейшей работы.
3. Стабильность автотестов: влияние на продолжительность проверок
Для оценки автоматизации полезно рассматривать несколько показателей вместе: стабильность автотестов, количество повторных запусков и продолжительность прогонов. Если нестабильные проверки приходится запускать повторно, они могут увеличивать общее время тестирования и влиять на сроки подготовки релиза.
Сопоставление этих данных помогает определить, какие проверки стоит стабилизировать в первую очередь, и оценить изменения после доработок. Также можно рассматривать потенциальную экономию времени специалистов по ручному тестированию при расширении автоматизации.
При этом сокращение длительности прогонов само по себе еще не означает, что релизы будут выходить быстрее: на сроки влияют и другие этапы процесса.
4. Собственные показатели: аналитика под процессы команды
Если стандартных виджетов недостаточно, можно настроить собственную аналитику под особенности продукта и процесса тестирования. В коробочной версии Test IT создание собственных виджетов на базе Apache Superset доступно в тарифах «Про» и «Про Макс». Можно выбирать нужные показатели и разрезы данных, настраивать их представление и собирать аналитику под конкретные задачи команды.
Например, руководитель может настроить отдельное представление для отслеживания тестирования по компонентам продукта или сопоставления показателей за разные периоды. В облачной версии доступен стандартный набор виджетов без конструктора пользовательской аналитики.
От общей картины к конкретным показателям
Когда данные о библиотеке тестов, автоматизации и работе команды собраны в одном месте, руководителю проще увидеть причины изменений, определить приоритеты и оценить результат принятых решений. Вместо того чтобы разбирать отдельные отчеты и собирать общую картину вручную, можно опираться на актуальные показатели и возвращаться к ним по мере изменения процесса.
Аналитика становится частью регулярного управления тестированием: помогает аргументировать распределение ресурсов, находить точки роста и отслеживать, дают ли изменения ожидаемый эффект.
Именно для этого в Test IT мы тщательно проработали инструменты, которые дадут опору каждому участнику процесса контроля качества – протестировать их в деле можно уже сейчас: для этого обратитесь к нам или своему менеджеру!
И не забывайте обновляться на Test IT 6.0 Norma: https://id.test.cloud.testit.ru/
Источник: habr.com