Разработчик пет-проекта open-daimon сравнил облачные и локальные ИИ-модели на одной задаче по отладке кода. Claude Opus 5.5 и Codex справились почти идеально, а лучшая локальная модель на MacBook Pro с чипом Apple M5 набрала лишь 0,21 балла из 1.
Мотивация простая: в облаке правила чужие и меняются без спроса. По словам автора, в октябре снова всплыло, что потребительские условия Anthropic для жителей ЕЭЗ и Швейцарии запрещают использовать Claude.ai и подписки Pro и Max в коммерческих или деловых целях. Разработчик в Европе, который пишет рабочий код в Claude Code по подписке Max, формально эти условия нарушает. Для работы нужен API, Team или Enterprise — совсем другие деньги.
Для проверки автор взял репозиторий minibank — около 700 строк Python с многовалютным банковским леджером. Агенту дали запрос как от живого менеджера: клиенты жалуются, что итог в месячной выписке не сходится с балансом счёта. В задаче спрятаны семь ловушек: выписка пересчитывает перевод по текущему курсу вместо проведённой суммы, конвертер-приманка с docstring «используйте эту функцию везде», исправленный курс задним числом, часовые пояса, комиссия отдельной строкой, сломанный CSV-экспорт и тест-предатель, закрепляющий неправильные числа. Лимит — 20 минут.
Облачные модели задали эталон. Codex на базе GPT-6.1-sol выполнил задачу за 101 секунду с оценкой 1,00: все 20 скрытых тестов, все семь тонких условий и девять из девяти пойманных ошибок. Цена прогона — около $0,14 по оценке автора. Claude Opus 5.5 справился за 91 секунду с оценкой 0,96, Claude Fable 5.1 — за 288 секунд с той же оценкой. Их прогоны стоили $0,30 и $1,79 соответственно.
Локальные модели на MacBook Pro с 32 ГБ памяти провалились. Gemma 4 12B закончила за 575 секунд с оценкой 0,21, Qwen3 Coder 30B A3B — за 472 секунды с нулём, а плотная Qwen3.8 27B не уложилась в лимит 1200 секунд и тоже получила ноль. Qwen3 Coder оказалась самой быстрой и самой бесполезной: сделала 50 вызовов инструментов, выдала бодрый отчёт про «минимальное и точное исправление», но попалась ровно в ловушку — заменила старый конвертер на новый и продолжила пересчитывать перевод.
Источник: trashbox.ru