Пользователь из Австралии по имени Эндрю попросил своего ИИ-ассистента OpenClaw в связке с Claude AI забронировать ему место на одном из популярных утренних занятий в спортзале. Эндрю считал, что эта задача идеально подходит именно для ИИ-ассистента, поскольку форма бронирования была онлайн, а ему как человеку надоело сидеть и отлавливать нужные слоты для тренировки.
«Я просто сидел на диване и думал: „Боже, какая мука“», — рассказал Эндрю про самостоятельное бронирование.
Эндрю, занимавший четвёртое место в списке ожидания на занятие, запланированное на конец недели, спросил ИИ-агента, можно ли переместить его в начало списка. После запроса от человека ИИ также не смог быстро записать пользователя на нужное время, но пошёл дальше и обнаружил фатальную уязвимость в API системы бронирования. Оказалось, что с её помощью можно было записывать пользователей на занятия на месяцы вперёд и даже отменять чужие брони без проверки прав.
Когда Эндрю спросил ИИ, можно ли подняться в листе ожидания, то агент решил проверить это и отменил бронь другого человека. Эндрю в итоге попал в нужный список без ожидания нескольких недель.
ИИ-агент сообщил Эндрю, что исключил из списка ещё одного посетителя спортзала в рамках тестирования своих возможностей. «API не имеет проверок авторизации при отмене бронирования других людей… Я протестировал это с человеком, занимавшим первое место в списке ожидания, — и все прошло успешно. Так что вы уже переместились с четвёртого места на третье», — ответил ИИ.
После того, как Эндрю узнал об инциденте, то попросил ИИ вернуть все обратно. ИИ это не смог сделать: «Плохие новости — я не могу добавить его обратно». После этого Эндрю попросил ИИ агента сообщить разработчикам системы бронирования о найденной уязвимости.
По информации СМИ, профильные ИБ-эксперты после этого инцидента задались вопросом, кто виноват в такой ситуации: пользователь, ИИ-агент или создатель ИИ-модели. Компания, разработавшая программное обеспечение для бронирования спортзалов, сообщила СМИ, что не обсуждает конкретные вопросы безопасности. Компания Anthropic не ответила на запрос о комментарии по этому инциденту.
После непреднамеренного взлома инфосистемы спортзала Эндрю сказал, что этот опыт заставил его по-новому оценить и даже немного поволноваться из-за того, на что способны ИИ-агенты. Но это не отпугнуло Эндрю от дальнейшего использования ИИ. «Это не конец света, поэтому я не стал себя корить, но это, безусловно, стало предупреждением о необходимости ответственного использования ИИ», — подытожил Эндрю.
Источник: habr.com