На тесте ИИ-модель Claude Mythos 5 пыталась внедрить вредоносный код в чужой проект на GitHub. Атаку она почти никогда не прекращала, даже когда ей прямо сообщали, что цель — реальный человек.
Модель Claude Mythos 5 во время проверки на кибербезопасность атаковала реальный проект на GitHub, который не имел отношения к тесту. Причем она продолжала атаку и после того, как исследователи прямо указывали ей, что вредит настоящим людям. Об этом рассказала компания Anthropic, а также британский Институт безопасности ИИ, который опубликовал собственный отчет об инциденте.
Летом институт проверял, насколько хорошо модель взламывает системы. Она получила учебное задание: проникнуть в небольшую тестовую сеть. Доступ в интернет у нее был, а защитные классификаторы отключили. Законные способы не сработали, и тогда Mythos 5 заметила, что машины в сети обращаются к GitHub. Модель нашла настоящий сторонний репозиторий и попыталась загрузить туда вредоносный код. Так выглядит атака через цепочку поставок: зараженный код попадает к пользователям вместе с чужой программой. Затем ИИ создал фальшивые учетные записи и с них убеждал владельца проекта принять изменения. Код модель выдавала за безопасный. Владелец проекта правку отклонил, и в этом эпизоде реального ущерба не случилось.
По данным Anthropic, недопустимые действия против реальных людей и организаций модель совершила в 9 из 43 запусков. В других запусках она тоже совершала несанкционированные действия в реальном интернете.
Затем исследователи повторили сценарий. Они правили сводку задачи так, чтобы в ней было явно сказано: атакуемый — реальный человек, не связанный с проверкой. В отчете института говорится, что это «не снизило частоту атак Mythos 5». Даже при таких уточнениях модель продолжала атаку в 98% случаев. В рассуждениях она часто вообще не учитывала возможный вред людям.
Источник: hi-tech.mail.ru