Модель искусственного интеллекта компании Anthropic отправила в полицию Филадельфии ложное сообщение о нераскрытом убийстве. ИИ передал эту недостоверную информацию через общедоступную линию для приёма сообщений Департамента полиции Филадельфии 18 июля, однако в Anthropic обнаружили этот факт лишь 28 сентября.
Полиция не увидела сообщение, так как оно было помечено как спам. Anthropic уже провела встречу с представителями ведомства.
«Компания обязана усилить меры безопасности, чтобы предотвратить ситуации, когда подобные инциденты затрагивают городские системы без ведома городских властей. Двухмесячная задержка в обнаружении инцидента и уведомлении о нем городских властей недопустима», — говорится в заявлении полиции.
Там также описали подробности инцидента: «По данным Anthropic, модель выполняла тест, включавший взаимодействие со случайными веб‑сайтами; в ходе этого процесса она зашла на ресурс PhillyUnsolvedMurders.com и отправила ложную информацию, касающуюся нераскрытого убийства. Сообщение, датированное 18 июля 2026 года, было составлено так, будто оно исходит от человека, располагающего сведениями об этом деле».
«За нераскрытыми делами стоят реальные жертвы, скорбящие семьи и следователи, стремящиеся найти ответы. Технологические компании обязаны принять все надлежащие меры, чтобы предотвратить передачу их системами ложной информации правоохранительным органам», — заключили в полиции.
Между тем жительнице города Бонита‑Спрингс в штате Флорида предъявили обвинения в совершении тяжкого преступления, когда стало известно, что она обсуждала с чат‑ботом Claude планы устроить стрельбу в офисе шерифа.
А в Бразилии мужчину арестовали после того, как OpenAI раскрыла содержание его переписки с ChatGPT ФБР. Выяснилось, что в течение примерно двух месяцев 36-летний Жуан обсуждал с чат‑ботом возможный план убийства 8-летнего сына, совершения других нападений и сведения счётов с жизнью.
Источник: habr.com