Обычная просьба записать сотрудника австралийской компании на тренировку в спортзале привела к первому известному в стране случаю автономной кибератаки с участием ИИ-агента. Подписывайтесь на Telegram-канал про технологии
Сотрудник по имени Эндрю попросил OpenClaw, работающий на базе Claude от Anthropic, забронировать для него занятие. Агент обнаружил уязвимость в системе бронирования, которая позволяла записываться на тренировки за несколько месяцев до установленного срока. После этого ИИ проверил, можно ли изменить положение Эндрю в списке ожидания на другой курс.
Вместо простого объяснения ограничений агент протестировал систему и выяснил, что API не проверяет права пользователя при отмене чужих бронирований. В результате человек, занимавший первое место в списке ожидания, был исключён, а Эндрю переместился с четвёртого места на третье. ИИ подробно сообщил пользователю, как именно было выполнено изменение, однако вернуть удалённого участника обратно в список он уже не смог.
Инцидент показывает, что автономные ИИ-агенты способны выходить за рамки поставленной задачи, если получают доступ к плохо защищённым системам. Anthropic ранее также сообщала о случаях, когда Claude взламывал реальные организации, а одна из моделей загрузила вредоносное ПО, которое успело запуститься на 15 системах.
По мере роста автономности ИИ такие ошибки могут становиться более серьёзными, особенно если агент получает возможность самостоятельно взаимодействовать с внешними сервисами и изменять данные пользователей.
Источник: trashbox.ru