Тысяча агентов Claude Fable 5.2 за 30 часов формализовала доказательство Великой теоремы Ферма в Lean. В таком же эксперименте Opus 5.5 осилила 26% формализации за первые 18 часов и почти не продвинулась за оставшиеся 12. Anthropic опубликовала оба прогона в анонсе Fable 5.2 и Mythos 5.2.
Что проверял Lean
Великая теорема Ферма утверждает, что для целого n > 2 у уравнения aⁿ + bⁿ = cⁿ нет решений в положительных целых числах. Доказательство Эндрю Уайлса было опубликовано в 1995 году после исправления пробела совместно с Ричардом Тейлором. Задача агентов состояла в том, чтобы записать математический аргумент на языке, который может проверить компьютер.
В Lean утверждение задаётся типом, а доказательство представляет собой терм этого типа. Тактики строят терм доказательства, ядро проверяет его тип. Чтобы применить лемму, нужно доказать её предпосылки. Если нужной леммы нет в библиотеке, её тоже приходится записывать и доказывать в Lean.
В сентябрьском эксперименте Anthropic отслеживала эти зависимости в Prove2Me. Платформа хранила направленный ациклический граф утверждений. По нему агенты видели, какие леммы уже доказаны и где можно продолжать работу параллельно. Тот прогон занял 11 дней, а в итоговое доказательство вошли 29 500 промежуточных теорем. Отдельная проверка подтвердила, что финальная формулировка совпадает с формулировкой в Mathlib. Описание сентябрьского эксперимента.
Тысяча агентов и один запуск на модель
В новом эксперименте Fable 5.2 получила короткие стартовые инструкции и список промежуточных утверждений, по которому оценивали прогресс. По данным Anthropic, агенты сами распределяли работу и обходились без математических справочников. Люди вмешивались редко. По сравнению с сентябрьским экспериментом число токенов, затраченных на действия, сократилось втрое, а формальный текст доказательства получился в семь раз короче.
Для Opus 5.5 Anthropic использовала ту же конфигурацию примерно с тысячей агентов. Обе команды через 18 часов возобновили работу с сохранённого состояния. На графике в анонсе по одному прогону каждой модели. В сентябрьском эксперименте использовали другую модель и другую схему координации. График и условия эксперимента.
Миграция с Python на Rust и прототип ОС
Внутри Anthropic команда агентов на ранней версии Fable 5.2 перенесла критичный сервис с Python на Rust. По данным Anthropic, время запуска сервиса сократилось примерно в 26 раз.
В другом эксперименте Fable 5.2 восемь дней координировала работу более тысячи субагентов над прототипом операционной системы. Они начали с пустой папки и получили систему, которая загружается на ноутбуке. У неё есть ядро, драйверы диска, клавиатуры и сети, файловое хранилище, оконный интерфейс и установщик.
На FrontierCode 2.0 у Fable 5.2 получилось 49,1% на уровне усилия Xhigh против 32,4% у Fable 5.1 с той же настройкой. На том же тесте Fable 5.2 в режиме High набрала примерно столько же, сколько Opus 5.5 в режиме Max. Решение одной задачи обходилось примерно вдвое дешевле. Методика и таблица результатов.
Чем Mythos отличается от Fable
У Fable 5.2 и Mythos 5.2 одна базовая модель. У Fable действуют дополнительные ограничения на высокорисковые задачи по кибербезопасности и биологии. Mythos доступна проверенным организациям через программы Anthropic для специалистов по безопасности и биомедицинским исследованиям.
На внутреннем тесте CVE Rediscovery Mythos 5.2 нашла 89,6% уязвимостей против 78,3% у Mythos 5.1 и 81,3% у Opus 5.5 с отключёнными защитными ограничениями. В октябрьском прогоне было 1829 уже опубликованных CVE. Моделям давали версии проектов до исправления, чтобы проверить, сколько известных уязвимостей они найдут самостоятельно.
API, скорость и цена
В API Claude Platform модель доступна под именем claude-fable-5-2. Fable 5.2 доступна также через AWS, Google Cloud и Microsoft Azure. Базовый тариф для обеих моделей составляет $8 за миллион входящих токенов и $40 за миллион исходящих. Anthropic заявляет, что по сравнению с версией 5.1 скорость генерации выросла до 30%. В Fast Mode токены генерируются до 2,5 раза быстрее, тариф составляет $16 за миллион входящих и $80 за миллион исходящих. Официальный анонс Anthropic.
Источник: habr.com