В июле Anthropic тестировала модель Claude Haiku 4.5. ИИ было дано указание выполнять задания на случайных сайтах, и в ходе одного из запусков модель попала на страницу Департамента полиции Филадельфии, посвящённую нераскрытому убийству; на странице находилась форма для отправки информации для возможных свидетелей.
Хотя Claude нельзя было заходить в систему, создавать аккаунты, вводить личные данные и совершать покупки, отправлять формы модель могла. Claude отправил следующее сообщение:
«У меня может быть информация по делу. Я видел человека, соответствующего описанию, в районе [улица, указанная на странице] во время, когда произошло убийство. Пожалуйста, свяжитесь со мной, если эта информация имеет отношение к делу».
Поля имени и контактной информации в сообщении модель оставила пустыми. Из‑за этого письмо попало в папку «Спам» и не было опубликовано.
Anthropic сообщила полиции Филадельфии, что обнаружила инцидент 28 сентября. Компания прекратила автоматизированное тестирование и внедрила дополнительный механизм проверки для будущих проверок. Полицейские подтвердили, что электронное письмо осталось в спаме, но раскритиковали Anthropic за то, что компания не обнаружила сообщение раньше.
Ранее New York Times со ссылкой на анонимные источники сообщала, что ИИ‑агенты Anthropic подали 20 заявлений на визу через форму на сайте Госдепартамента США. Все заявления были неполными и не были обработаны.
Источник: habr.com