Общество анонимных тестировщиков

Как перестать запускать всё подряд и начать понимать, за что мы платим

  • Антон: Добрый день, меня зовут Антон, и у меня 132 тысячи тестов.

  • Ведущий: Добрый день, Антон.

  • Антон: Из них семь иногда падают.

  • Ведущий: Ты уже знаешь какие?

  • Антон: Конечно. Сегодня другие.

Ведущий кивает. Откровенность очень важна. Ещё важнее помнить пять шагов:

Шаг 1. Написать тест, чтобы спокойно менять код.

Шаг 2. Написать ещё тестов, потому что это так весело.

Шаг 3. Добиться, чтобы CI работал хотя бы десять минут. Иначе несерьёзно.

Шаг 4. Включить шардинг. Теперь несерьёзно стоит денег.

Шаг 5. Понять, что где-то что-то пошло не так. Найти наш кружок.

Встречи по четвергам. Если CI успеет закончиться.

Слово предоставляется участникам

  • Сосед: У нас хорошая ситуация. Мы ускорили тесты в четыре раза.

  • Антон: Как?

  • Сосед: Запускаем на восьми машинах.

  • Антон: А платим?

  • Сосед: Это в суппорт-группу по средам.

  • Сосед: Мы же инженеры. Что мы любим? Смотреть, как красные галочки превращаются в зелёные.

  • Шёпот из угла: А я слышал, в Китае красное — хорошо, зелёное — плохо.

  • Ведущий: Это вы ещё не знаете, что в Болгарии происходит.

  • У окна: А у нас coverage 84%.

  • Антон: Это хорошо?

  • У окна: До конца квартала надо 85.

  • Антон: А какой баг перестанет проходить на 85?

  • Ведущий: Антон, мы здесь не осуждаем.

  • Антон: А где Михаил?

  • Ведущий: Миша? Начитался этих интернетов. Там теперь тесты удалять советуют. Ну и вот.

  • Антон: Что «вот»?

  • Ведущий: Удалился.

  • Антон: Из общества?

  • Ведущий: С волчьим билетом.

  • Антон: Но кто-нибудь вообще знает, зачем нам нужны все эти тесты?

  • Ведущий: ЧТО? Простите, у меня избирательная глухота.

В кругу стало тихо. Человек возле розетки, на самом краю круга, на всякий случай закрыл ноутбук.

  • Сосед: Кстати, кстати. Я тут Кента Бека читал. В Facebook недетерминированные тесты просто удаляли. И ему эта политика нравилась. Идиоты.

  • Ведущий: Идиоты. Таким не место в нашем обществе.

  • Антон: Кенту Беку?

  • Ведущий: Не отвлекайся.

  • Антон: Но вообще наводит на мысли. Зачем всё это нужно?

  • Сосед: Весь мир театр.

  • У окна: И мы все актёры.

  • Антон: А CI?

  • Ведущий: Антракт. На сорок минут.

Мы посмеялись. Потом посмотрели на пустой стул Миши. Вопрос-то остался.

Весь мир театр. А тесты зачем?

За кулисами зелёной галочкиЗа кулисами зелёной галочки

Смысл истории проще: тесты — не продукт, который нужно беречь ради него самого. Они нужны, чтобы выпускать работающий код и спокойно его менять. Нужную проверку Бек предлагает переписать надёжно, изменив дизайн. А тесты, которые не отличают рабочий код от сломанного, называет расходами без пользы. Сохранять количество тестов — другая задача. Нашему обществу она понятнее.

На заседании мы распределили роли. Разработчик пишет тесты. CI их запускает. Тестировщик находит то, что всё равно сломали. Все заняты. Все немного устали. Только в какой момент из этого должна получиться уверенность, что изменение можно выпускать?

Прежде чем кого-нибудь удалять вслед за Мишей, неплохо бы разобраться: а что мы вообще узнали от всех этих зелёных галочек?

Разговоры о полезности тестов идут десятилетиями. Ещё в 1970 году Дейкстра писал, что тестированием можно показать наличие ошибок, но не их отсутствие. Зелёная галка ✅ не доказывает, что система работает во всех ситуациях. Она сообщает более скромную вещь: в этих запусках проверенные утверждения сошлись с наблюдавшимися результатами.

В знакомом red — green — refactor мы сначала наблюдаем отказ: нужного поведения ещё нет или в нём есть ошибка. Потом меняем реализацию и видим, что та же проверка проходит. Важен и первый результат: тест действительно отреагировал на то, что мы собирались исправить. Разумеется, упасть он должен по ожидаемой причине.

  • Антон: А если оно уже работало?

  • Сосед: Тогда тест сразу зелёный.

  • Антон: А откуда мы знаем, что он вообще умеет краснеть?

  • Скептик: Я тебя сейчас стукну — ты вообще фиолетовым станешь.

  • Ведущий: Друг, есть вопросы, ответы на которые ты не хочешь знать. Не задавай их.

Может, поведение уже реализовано. А может, assertion проверяет не то, mock заранее вернул нужный ответ или до проверки вообще не дошло. По одному зелёному результату эти случаи не различить. Тест на существующее поведение вполне может быть полезным — просто его способность заметить поломку пока не проверена.

Можно временно внести конкретную ошибку: убрать скидку, перевернуть условие, испортить результат. Упадёт ли тест? Это идея mutation testing. Для выбранной поломки появляется дополнительное свидетельство: проверка отличила её от исходного поведения. Доказательства на все случаи жизни по-прежнему нет.

  • Антон: И все 132 тысячи надо проверить?

  • У окна: А ты смелый парень. Угадай, сколько вариантов поломки придётся перебрать, чтобы хоть что-то доказать.

Что мы знаем о своих тестах

Тест однажды поймал баг. Отлично. Значит ли это, что он нужен после каждой правки? Двадцать тестов проходят через одну функцию. Они проверяют двадцать разных обещаний или двадцать раз поднимают одну и ту же fixture? Полчаса CI — это цена проверки или в основном цена подготовки к ней?

Здесь легко смешать три вопроса. Выполнял ли тест этот код? Проверял ли результат его работы? Замечает ли конкретную ошибку в нём? Для каждого нужны свои свидетельства. Начнём с первого: он хотя бы позволяет выяснить, куда уходит работа и какие проверки связаны с изменением.

Что мы считаем сейчас

Что ещё нужно узнать

132 тысячи тестов

Какие из них выполняли изменённый код?

Десять минут CI

Сколько ушло на загрузку, а сколько на сами случаи?

84% coverage

Какие тесты прошли через конкретную ветку?

Правую колонку наш кружок пока заполнить не мог. Зато слева всё было в порядке: тестов много, минуты идут, coverage растёт. Постановка имела успех.

  • Антон: А если сначала ничего не удалять? Просто посмотреть, что каждый тест выполняет.

  • Сосед: У нас для этого coverage.

  • Антон: Тогда почему мы всё ещё не знаем ответа?

84% чего именно?

Обычный coverage отвечает: какие части кода выполнялись хотя бы раз. Для выбора тестов этого мало. Нужна связь в обратную сторону: какие именно тесты выполняли этот участок.

Представим функцию расчёта цены. Один тест проверяет обычную покупку, другой — скидку, третий — ошибку оплаты. Все импортируют один модуль. Это ещё не значит, что они ходят по одним веткам.

Учебная матрица. «1» означает наблюдавшееся исполнение, а не наличие assertion. Пустая ячейка означает, что в этой записи перехода не былоУчебная матрица. «1» означает наблюдавшееся исполнение, а не наличие assertion. Пустая ячейка означает, что вэтой записи перехода не было

Если поменялась ветка скидки, у второго теста есть непосредственная причина запуститься. Если поменялось то, что модуль делает при загрузке, причина есть у всех трёх. Уровень детализации меняет ответ.

Но у этой таблицы есть принципиальное ограничение: выполнять код и проверять его поведение — разные вещи. Тест может пройти через расчёт скидки и проверить только заголовок страницы. Тест вообще без assertions оставит след исполнения.

Поэтому к региону полезно привязать имена случаев и вид suite: unit, integration, e2e. Если расчёт денег выполняется только по дороге к проверке заголовка страницы, это хороший повод посмотреть, кто проверяет сумму. Из самого вида suite такой вывод автоматически не следует.

Попутно выясняется, куда уходит время

У теста есть ещё одна жизнь: всё, что он загружает до полезной работы. Barrel export может привезти половину библиотеки на проверку одного хука. Хотелось бы различать модули, которые тест загрузил, и функции, в которые он действительно вошёл.

По такой записи можно было бы искать кандидатов на разбор: убрать ненужный импорт, попробовать явный mock или сузить fixture. Побочный эффект загрузки может быть нужен тесту, поэтому замену придётся подтвердить запуском. Само отсутствие вызовов ещё не разрешает отрезать модуль.

Про цену barrel-файлов уже писал Marvin Hagemeister. Для CommonJS-трансформации есть и готовый рычаг — lazy imports в SWC: отложить загрузку до первого использования. Это меняет момент выполнения побочных эффектов, поэтому проверять результат всё равно придётся.

Какие тесты запускать после diff

Граф зависимостей показывает, куда изменение может добраться: nx affected — на уровне пакетов, импорты — на уровне файлов. Но он не говорит, какую ветку выполнял конкретный тест.

Coverage-based test selection добавляет наблюдение: при прогоне записываем пары «тест — исполненный регион». После правки выбираем тех, кто заходил в изменённые регионы. Это давно известная область — regression test selection. Например:

Работа

Как выбирает

Ekstazi, 2015

Записывает динамические зависимости тестов от файлов.

STARTS, 2017

Строит статический граф зависимостей классов.

HyRTS, 2018

Сочетает зависимости на уровне методов и файлов.

Все три работы — про Java, не плагины для Jest. В замерах Ekstazi более грубые зависимости окупались лучше подробных: меньше выбранных тестов ещё не означает меньше общего времени.

Упрощённая модель наблюдения выглядит так:

E(t) = регионы, исполненные тестом tΔ = регионы, затронутые изменениемE(t) ∩ Δ ≠ ∅ → у теста есть причина запуститься

Это объяснение принципа, не полный алгоритм. Ещё нужно учесть изменение значений, инициализацию модулей, конфигурацию suite и качество самой записи.

Ну, помечтать-то можно

  • Антон: И чтобы я мог ткнуть в функцию и увидеть имена тестов, которые в неё входили.

  • У окна: А лучше в конкретную ветку.

  • Сосед: И отдельно unit, integration, e2e. А то вдруг моя скидка покрыта только тестом заголовка страницы.

  • Антон: И чтобы после правки запускались те, у кого есть причина. А причину можно было прочитать.

  • Ведущий: И чтобы у нового теста отсутствие записи не означало «можно не запускать».

  • Скептик: Ну да. В идеальном мире.

  • Антон: В идеальном мире у нас ещё и CI в пять минут укладывается.

  • Ведущий: Хватит летать в облаках. Давайте будем реалистами. Мы тут работаем с Jest, Vitest, Rstest. Ну или Mocha…

  • Шёпот: Покойся с миром.

  • Ведущий: В общем, читаем доки и следим за обновлениями. Пока это всё мечты.

Новенький

Человек с края круга поднял голову. Тот самый, который закрыл ноутбук.

  • Новенький: А что, если нет?

  • Ведущий: А ты кто? Новенький?

  • Новенький: Я как раз решил.

  • Антон: И как?

  • Новенький: Сначала разобрался, куда уходит время. Потом — какие тесты вообще надо запускать.

  • Ведущий: А понадобилось-то зачем?

  • Новенький: Жена однажды спросила, за какой такой СИ мы платим вместо её маникюра. И добавила, что уж лучше бы я в танчики играл.

Самый неудобный вопрос на review: «А за что мы платим?»Самый неудобный вопрос на review: «А за что мы платим?»

  • Шёпот: Он ещё легко отделался.

  • Сосед: Ага. Мне машину продать пришлось. До сих пор дошираком питаюсь.

Самый неудобный вопрос на review: «А за что мы платим?»

  • Новенький: Пришлось смотреть правде в лицо. Я пытался объяснить про тесты, качество и надёжность. Но жена спрашивала про деньги: почему мы снова платим за проверку того, что вчера уже проверили? Я мог показать, сколько тестов запустилось. Объяснить, зачем понадобился каждый, уже не мог.

  • Ведущий: И что, помогло?

  • Новенький: Пришлось разбираться. Оказалось, до нас уже много чего накопали.

Ведущий пока отложил брошюру.

Я инженер. Я люблю мерить.

  • Новенький: Мы же инженеры. Что мы любим? Докапываться до сути. Вы говорите: десять минут CI. А вы вообще знаете, где ваши тесты проводят эти десять минут? В самой проверке? В setup? В teardown? В очередной загрузке того, что уже загружали тысячу раз?

  • Сосед: В отчёте написано: тесты — десять минут.

  • Новенький: Я инженер. Я люблю вещи измерять. Давайте вспомним Linear. Они разрешили подходящим файлам делить модули через isolate: false. Суммарное время API-шардов упало с 32,8 до 22 runner-минут за прогон. Не assertions переписали. Перестали заново собирать один и тот же мир.

  • Скептик: А состояние между тестами?

  • Новенький: Сняли изоляцию выборочно, добавили очистку. Что не смогли безопасно разделить — оставили изолированным. Они разобрались, за что платят.

  • Новенький: А Rstest упаковал сам jsdom в один ESM-бандл. На стенде со 100 файлами и 1000 тестами: с 16,99 до 10,57 секунды, минус 37,8%. Те же тесты. Дешевле до них добраться.

  • Сосед: В Playwright каждому тесту по умолчанию дают свежий browser context и страницу. Чтобы состояние не протекало, тесты друг друга не роняли.

  • Новенький: Дополнительные колёсики. Держит нас за ручку, чтобы мы не упали и тест не уронили. Но мы же взрослые люди. Мы же инженеры.

  • Скептик: И поэтому можно не убирать за собой?

  • Новенький: Наоборот. Почему наше окружение такое хрупкое? Откуда в нём побочные эффекты? Пробовали их почикать, сделать окружение железобетонным — или сразу решили всё каждый раз пересоздавать?

  • Ведущий: То есть отключаем изоляцию?

  • Новенький: То есть сначала меряем. Браузер уже разделяется между тестами. Но новый context, новая страница, повторная загрузка приложения, подготовка данных — колёсики крутятся на каждом тесте, а счётчик денег вместе с ними. Сколько стоит весь этот круг? Сколько после него остаётся на саму проверку?

  • Шёпот из угла: Так идея-то в воздухе носится. Linear уже разрешил подходящим тестовым файлам делить загруженные модули. А в следующем Vitest Browser Mode модули будут брать из кэша браузера, без повторной проверки каждого у сервера. На трёх реальных проектах — минус 13–27% времени.

  • Новенький: Вот. Вчерашнюю работу можно не делать заново.

  • Новенький: Не можешь измерить — для твоего отчёта этого не существует. Там просто «десять минут тестов». И ты идёшь ускорять тесты, хотя половину времени они ещё даже не начались.

  • Антон: А движок этого не знает?

  • Новенький: Одни движки не отдают всей картины. Другие отдают, но их об этом никто не спрашивает. Я взял и спросил.

  • Ведущий: А ты, парниша, что здесь вообще забыл среди нас?

  • Новенький: У меня с тестами проблем нет. Я здесь требования собираю. У тех, у кого проблемы есть.

  • Новенький: Дальше — вопрос жены. Один push — прогон. Ещё push — ещё прогон. Исправил замечание на review — опять. Мы уже разобрались, сколько стоит один запуск. А зачем каждый раз повторять всё?

  • Сосед: Мы для этого шардинг включили.

  • Новенький: Я тоже. Ждать стал меньше. Жена — задавать больше вопросов.

  • Ведущий: Шаг четвёртый.

  • Новенький: В общем, вы сейчас почти по пунктам перечислили, чего мне тогда не хватало. Что загрузилось? Что действительно выполнилось? Что из этого связано с моей правкой? Я стал собирать такую запись прямо во время обычного прогона.

За что мы платим второй раз

  • Новенький: Когда запись появилась, можно было открыть конкретную функцию и посмотреть, какие тесты в неё заходили. Потом — сопоставить её с правкой.

  • Сосед: Ты отдельные тесты выбираешь или файлы целиком?

  • Новенький: Для запуска — файлы. Выбрал файл — раннер выполнит все тесты внутри.

  • У окна: А посмотреть, какой именно тест заходил в функцию?

  • Новенький: Тоже можно. Просто для выбора файлов в CI такая подробность не нужна. За её запись считаем отдельно.

  • Антон: И ты сразу поверил, что всё работает?

  • Новенький: На своём проекте легко убедить себя в чём угодно. Хотелось проверить на чужом коде, с чужими тестами. Причём там, где CI уже оптимизировали, иначе сравнение получилось бы слишком удобным.

  • Новенький: Взял TanStack Query. У него уже есть Nx, который выбирает затронутые задачи. Я взял 60 последовательных коммитов: на родителе каждого записывал полный прогон, затем переходил к самому коммиту и спрашивал, какие тесты теперь нужны.

  • Скептик: То есть ради выборки ты шестьдесят раз прогнал всё?

  • Новенький: Для эксперимента. В обычном CI main публикует запись своего полного прогона, а ветка читает её и сравнивает со своей правкой. Полный прогон ради каждой выборки заново не нужен.

Он открыл ноутбук и повернул экран к кругу.

60 КОММИТОВ TANSTACK QUERY60 КОММИТОВ TANSTACK QUERY

Запуски тестовых файлов, суммарно по 60 коммитам. Один файл, выбранный на пяти коммитах, считается пять раз.

Источник: habr.com

0 0 голоса
Рейтинг новости
1
0
Подписаться
Уведомить о
0 комментариев