Состоялся выпуск открытого проекта whatbroke. Это инструмент командной строки для сравнения поведения ИИ‑агента между двумя запусками. Исходный код решения написан на языке TypeScript и опубликован на GitHub под лицензией MIT.
По информации OpenNET, при смене модели, правке промпта или обновлении фреймворка ИИ-агент может внешне отвечать как прежде, но незаметно перестать вызывать нужный инструмент или изменить аргументы вызова. Текстовый diff такие поломки не видит.
Проект whatbroke записывает лог трассировки работы агента в формате JSONL и показывает информацию о том, какие вызовы инструментов исчезли, какие аргументы изменились, как сдвинулись стоимость и задержки, какие итоговые ответы поменялись.
Также в проекте есть прокси‑режим, не требующий изменения кода. Достаточно направить OPENAI_BASE_URL или ANTHROPIC_BASE_URL на локальный прокси. Поскольку агенты недетерминированы, каждый сценарий можно записать несколько раз — для каждого отличия выводится частота повторения, а шум, присутствовавший ещё в базовых запусках, автоматически понижается до информационного уровня.
В текущей версии whatbroke 0.3.0 добавлена команда import для конвертации готовых логов OpenTelemetry (GenAI semantic conventions), Langfuse и LangSmith, а также флаг ‑fail‑on для интеграции в CI (код возврата 1 при ломающих изменениях). Инструмент детерминирован и работает полностью локально, без API‑ключей, логи не покидают машину пользователя.
Источник: habr.com