По внутреннему индексу автоматизации самих Anthropic, Claude уже ведёт 26% работы в области разработки ИИ: получает задачу на высоком уровне и выполняет большую часть работы самостоятельно, оставаясь под наблюдением человека. Более 90% работ выполняются как минимум при значительном участии ИИ. При этом полностью автономных направлений среди измеренных пока нет.
Для контроля за агентами Anthropic использует онлайн- и офлайн-мониторы. Онлайн-монитор проверяет 100% действий агентов до их выполнения и может заблокировать или скорректировать потенциально опасное действие. Все действия также поступают в офлайн-монитор для последующего анализа.
За август система обработала более миллиарда решений исследовательских и инженерных агентов. Монитор заблокировал около 0,002% из них — примерно одно решение из 47 000.
Офлайн-монитор дополнительно отмечает около 100 000 транскриптов в неделю. После автоматической фильтрации наиболее приоритетные случаи — примерно 50 в неделю — передаются людям для проверки.
Anthropic также впервые показала распределение вычислительных ресурсов. За неделю с 13 по 20 июля около 6% вычислений, использованных для AI R&D, пришлось на исследования безопасности. Среди вычислений именно для исследований с участием ИИ доля составила около 12%.
Подробнее здесь
Есть и методологический нюанс: собственные модели Claude использовались для составления списка задач и оценки степени их автоматизации. Anthropic признаёт, что это создаёт риск ошибок оценки, поэтому планирует привлечь независимых сторонних проверяющих.
Компания хочет публиковать такие метрики регулярно, чтобы со временем можно было отслеживать, насколько быстро ИИ начинает участвовать в разработке следующего поколения ИИ и успевают ли системы контроля за агентами за ростом их автономности.
Источник: habr.com