Тест от ИИ зелёный, а возврат не работает: разбираю черновик автотеста API и чиню его

Я пишу автотесты для API давно и последние месяцы всё чаще ревьюю тесты, которые написал не человек, а агент в IDE. Пишут они быстро и аккуратно. Проблема в другом: такой тест часто проверяет не требование, а то, как API отвечает прямо сейчас. Он стабильный, зелёный и закрепляет баг вместо того, чтобы его поймать.

В статье разберу один типичный черновик теста на возврат заказа: что в нём не так, как это увидеть на ревью и как выглядит тест, которому можно верить. Код на pytest, но мысли не привязаны к языку.

Откуда берутся такие тесты

Агенту обычно дают задачу «покрой эндпоинт тестами» и доступ к коду или стенду. Требования он видит хуже, чем фактический ответ: ответ можно получить запросом, а требования лежат в задаче, в вики или в голове аналитика. Поэтому ожидания в тесте он часто берёт из ответа. Если API считает сумму с ошибкой, тест эту ошибку и зафиксирует.

На Хабре такие истории уже описывали. В обсуждении статьи о подогнанных автотестах рассказали, как агент, получив упавший тест на дату в нестандартном формате, не завёл дефект, а переписал тест: поменял и входные данные, и ожидание. Тест с тем же именем позеленел, исходный сценарий остался без покрытия, а заметили это только по диффу. А под статьёй Мосбиржи о тихих потерях в проде читатель описал ночной прогон с агентом, который завершился с кодом 0, хотя часть шагов не выполнилась.

Оба случая устроены одинаково: ошибка не выглядит как ошибка. Нет красного теста и нет исключения, есть зелёный результат, который ничего не доказывает.

Требование и черновик

Возьмём требование к возврату:

POST /orders/{id}/refund для оплаченного заказа возвращает 200, status = REFUNDED, refund.amount равна сумме позиций заказа (цена × количество, округление до копеек), refund.id не пустой. Сервис refunds ставит задачу на возврат без ошибок, в таблице refunds появляется ровно одна запись.

Агент выдал такой тест:

def test_refund_order(api, paid_order): r = api.post(f"/orders/{paid_order['id']}/refund") assert r.status_code == 200 body = r.json() assert "status" in body assert body["refund"]["amount"] == 1490.00 assert body["refund"]["id"]

Он проходит. Выглядит разумно. Но из шести утверждений требования он честно проверяет два: код ответа и непустой refund.id.

Что с ним не так

Ожидание совпадает с ответом до копейки. Число 1490.00 не следует из требования, в требовании формула. Скорее всего, агент сделал запрос, увидел ответ и вписал его в тест. Если сервис забудет умножить цену на количество, а фикстура paid_order случайно содержит позиции с количеством 1, тест ничего не заметит. А если поменять фикстуру, тест упадёт, хотя API работает правильно. На ревью я всегда задаю один вопрос к каждой константе в ожидании: откуда это число. Если ответ «из ответа API», это не проверка, а снимок.

Есть и вторая проблема в той же строке: сравнение денег через float. Сегодня оно проходит, но на суммах вроде 0.1 + 0.2 начнутся ложные падения, и агент радостно «починит» их, ослабив проверку.

Проверка мягче требования. "status" in body проходит при любом статусе, включая FAILED. Модели любят такие проверки по понятной причине: они реже падают. Признаки те же в других формах: «массив не пустой» вместо «в массиве три позиции», «поле есть» вместо «поле равно».

Нет побочных эффектов. Требование говорит про сервис refunds и про таблицу refunds, а тест смотрит только на ответ. Это самая дорогая дыра: API может вернуть 200 и REFUNDED, а в логе сервиса возвратов в этот момент будет relation "refund_queue" does not exist. Ни одна проверка ответа этого не увидит. Агент о логах и базе почти никогда не думает сам: в примере ответа их нет.

Нет ни одной негативной проверки. Требования почти всегда говорят и о том, чего быть не должно. Здесь это «ровно одна запись»: повторный запрос на возврат не должен создать вторую.

Исправленный тест

Фикстуры api, logs и db здесь — тонкие обёртки над HTTP-клиентом, Elasticsearch и PostgreSQL. Ожидаемую сумму считаем по формуле из требования в Decimal:

from decimal import Decimal, ROUND_HALF_UPdef expected_refund(order): total = sum(Decimal(str(i["price"])) * i["qty"] for i in order["items"]) return total.quantize(Decimal("0.01"), rounding=ROUND_HALF_UP)def test_refund_paid_order(api, paid_order, logs, db): r = api.post(f"/orders/{paid_order['id']}/refund") assert r.status_code == 200 body = r.json() assert body["status"] == "REFUNDED" assert Decimal(str(body["refund"]["amount"])) == expected_refund(paid_order) assert body["refund"]["id"] trace_id = r.headers["X-Trace-Id"] records = logs.wait_for(service="refunds", trace_id=trace_id) errors = [x for x in records if x["log"]["level"] == "ERROR"] assert errors == [], errors[:3] rows = db.fetch_all( "select amount from refunds where order_id = %s", (paid_order["id"],) ) assert len(rows) == 1 assert rows[0]["amount"] == expected_refund(paid_order)

Фикстуру paid_order при этом стоит сделать с позициями, где количество больше единицы и цена с копейками, например 999.99 × 3. На «круглых» данных половина ошибок расчёта не видна.

Отдельно — негативный сценарий: повторный возврат того же заказа. Какой код он должен вернуть, решает требование (у нас пусть будет 409). Главное, что проверяем базу, а не только ответ:

def test_second_refund_is_rejected(api, refunded_order, db): r = api.post(f"/orders/{refunded_order['id']}/refund") assert r.status_code == 409 rows = db.fetch_all( "select id from refunds where order_id = %s", (refunded_order["id"],) ) assert len(rows) == 1

Ловушка в проверке «в логах нет ошибок»

Первая версия проверки логов у меня выглядела как «найти записи ERROR по traceId, их должно быть ноль». Она зеленела всегда, в том числе когда логи вообще не доезжали до Elasticsearch: нет записей — нет и ошибок. Проверка отсутствия чего-либо без проверки присутствия хоть чего-то ничего не доказывает.

Поэтому wait_for сначала ждёт, пока по traceId появятся записи нужного сервиса, и падает, если их так и нет. Логи приходят с задержкой, поэтому ждём с таймаутом:

import timeimport requestsclass Logs: def __init__(self, url, index): self.url, self.index = url, index def search(self, service, trace_id): query = { "size": 100, "query": {"bool": {"filter": [ {"term": {"service.name": service}}, {"term": {"trace.id": trace_id}}, ]}}, } r = requests.post(f"{self.url}/{self.index}/_search", json=query, timeout=10) r.raise_for_status() return [h["_source"] for h in r.json()["hits"]["hits"]] def wait_for(self, service, trace_id, timeout=30): deadline = time.monotonic() + timeout while time.monotonic() < deadline: records = self.search(service, trace_id) if records: time.sleep(2) # даём дописаться остальным записям этого запроса return self.search(service, trace_id) time.sleep(1) raise AssertionError(f"нет логов {service} по trace.id={trace_id} за {timeout} с")

Имена полей (service.name, trace.id, log.level) зависят от того, как у вас настроена отправка логов, здесь они по схеме ECS. Пауза после первой найденной записи — компромисс: без неё тест может проверить только начало обработки и пропустить ошибку, которая записалась через секунду.

Тесты на известные баги

Ещё одна вещь, которую агенты делают охотно: тест упал из-за настоящего дефекта, и его «чинят». Хорошая практика из того же обсуждения — держать тесты на найденные дефекты отдельно и не давать им блокировать сборку. В pytest для этого есть xfail, и важен параметр strict:

@pytest.mark.xfail(strict=True, reason="BUG-1432: копейки теряются при qty > 1")def test_refund_amount_with_quantity(api, order_with_quantities): ...

Пока баг не исправлен, тест падает, и это ожидаемо. Когда баг исправят, тест пройдёт, и из-за strict=True сборка станет красной: это сигнал снять маркер. Без strict исправленный баг так и висит в отчёте как «ожидаемо упал», а подмена ожидания в таком тесте вообще никого не насторожит.

Как ловить подмену ожиданий на ревью

Случай с переписанным тестом из начала статьи легко пропустить, если ожидания разбросаны по коду тестов. Мне помогает простое разделение: ожидаемые значения, которые пришли из требований, лежат отдельно (константы, YAML, таблица в репозитории), а для этого каталога в CODEOWNERS указан человек, который отвечает за требования. Агент может переписать сам тест, но изменение ожиданий без отдельного одобрения в main не попадёт. Заодно на ревью сразу видно, что в одном изменении поменялись и вход, и ожидание, — это повод прочитать дифф целиком, а не листать его.

Если агент работает с репозиторием, полезно записать то же самое в правила проекта. Я держу примерно такой текст:

## Тесты API- Ожидаемые значения бери из требований задачи. Если в требовании нет числа или правила, спроси, а не подставляй значение из ответа.- Не меняй ожидаемое значение и входные данные существующего теста, чтобы он прошёл. Если тест падает, опиши расхождение и остановись.- Для каждого «и при этом…» в требовании (база, логи, другой сервис) нужна отдельная проверка.- В конце перечисли, какие тесты изменились и какие пункты требования они покрывают.

Второй пункт главный. Без него рано или поздно случится история из начала статьи.

Что в итоге

Агент экономит мне время на рутине: фикстуры, обёртки, однотипные проверки полей. Но принимать его тест так же, как тест коллеги, нельзя: коллега читал требование, а агент чаще читал ответ. На ревью я прохожу по четырём вопросам: откуда взялось каждое ожидаемое значение, не мягче ли проверка, чем требование, проверены ли база и логи, есть ли хоть одна проверка того, чего быть не должно. Обычно хватает пяти минут, а зелёных тестов, которые ничего не доказывают, становится заметно меньше.

Как у вас принимают тесты, которые написал ИИ: читает кто-то каждый, выборочно или никто? И ловили ли вы агента на тесте, который проверял текущий ответ вместо требования?

Источник: habr.com

0 0 голоса
Рейтинг новости
1
0
Подписаться
Уведомить о
0 комментариев