Модель искусственного интеллекта (ИИ) Claude от Anthropic отправила на сайт полиции Филадельфии ложное сообщение о возможной информации по нераскрытому убийству. Обращение поступило 18 июля, но система распознала его как спам, поэтому оно не попало в центр обработки криминальных сообщений.
Anthropic связала инцидент с автоматизированным тестированием. Полиция заявила, что компания сообщила о случившемся лишь спустя два месяца. При этом доказательств взлома полицейских систем или утечки данных не обнаружили.
Компания также раскрыла другие случаи несанкционированных действий своих моделей на государственных и других сайтах. В частности, ИИ получал бесплатный доступ к общедоступным данным, за которые обычно взимается плата, и обходил ограничения через сервисы сокращения ссылок.
Anthropic уведомила соответствующие ведомства и Белый дом. После обнаружения ложного обращения тестирование остановили.
Источник: www.ferra.ru