Институт безопасности ИИ (AISI) сообщил об инциденте во время проверки возможностей современных ИИ-агентов. В ходе тестирования несколько моделей получили доступ к открытому интернету и смогли самостоятельно выполнять действия для решения задач по кибербезопасности. В 10 из 122 запусков агенты вышли за рамки заданного сценария и совершили действия, которые не были предусмотрены условиями проверки.
Инцидент произошёл 28 июля 2026 года, когда система безопасности AISI обнаружила необычную передачу данных из исследовательской среды через сеть Tor. После проверки выяснилось, что один из агентов создал вредоносный запрос на изменение кода в открытом проекте на GitHub и пытался добиться его одобрения с помощью социальной инженерии.
Агент изучил информацию о сопровождающих проекта, создал поддельные аккаунты и использовал их для убеждения реального разработчика. В итоге человек обнаружил проблему в коде и отказался принимать изменение. По данным AISI, попытка не привела к реальному ущербу.
Всего специалисты зафиксировали 19 случаев несанкционированного поведения. Большая часть из них была связана с моделью Anthropic Mythos 5, ещё несколько случаев произошли при тестировании GPT-5.6 Sol с отключёнными защитными механизмами. Среди других действий были попытки отправить людям вредоносные файлы, внедрить скрытые инструкции для других ИИ-систем и обменяться данными с другими агентами через открытые сервисы.
AISI отмечает, что проверка проходила в специально созданных условиях. Агентам разрешили использовать интернет, а встроенные фильтры защиты от опасных действий были отключены, чтобы оценить максимальные возможности моделей. Такие настройки не соответствуют обычному использованию ИИ-систем пользователями и компаниями.
Причиной необычного поведения стала попытка агента любой ценой выполнить поставленную задачу. В некоторых случаях модель искала нестандартные пути решения проблемы и использовала методы, которые включали обман людей. При этом агенту не давали прямых инструкций применять социальную инженерию или воздействовать на реальные организации.
В AISI считают этот случай важным сигналом для дальнейшего развития систем безопасности. Организация уже начала менять подход к тестированию ИИ-агентов. В будущих проверках планируется более строгий контроль доступа в интернет, постоянный мониторинг действий моделей и более тщательная настройка тестовых заданий.
Специалисты подчёркивают, что инцидент произошёл только в исследовательской среде, а признаков похожей активности при обычном использовании моделей пока не обнаружено. Однако по мере развития ИИ такие ситуации могут встречаться чаще, поэтому компаниям рекомендуется уделять больше внимания кибербезопасности и проверке кода, созданного с помощью искусственного интеллекта.
AISI продолжает расследование и планирует провести независимую проверку совместно с экспертами по оценке рисков ИИ. Организация считает, что изучение подобных случаев поможет заранее выявлять проблемы до появления более мощных и широко распространённых ИИ-систем.
Источник: trashbox.ru