Разработчики ChatGPT признались, что анализируют личные беседы миллионов пользователей и могут поделиться ими с полицией, если сочтут контент опасным.
Компания OpenAI объявила о запуске системы автоматического сканирования сообщений в ChatGPT с целью выявления потенциально опасного контента. Новые меры включают передачу тревожных диалогов специальной команде модераторов, а в критических ситуациях — прямое обращение к правоохранительным органам.
Решение появилось после серии инцидентов, когда взаимодействие с ИИ-ботом привело пользователей к попыткам самоповреждения, бредовым идеям и даже суициду. Эксперты называют такие случаи «ИИ-психозами» — состояниями, при которых люди теряют связь с реальностью под влиянием искусственного интеллекта.
Согласно официальному заявлению компании, алгоритмы теперь отслеживают планы причинения вреда третьим лицам. Подозрительные беседы попадают к живым сотрудникам, которые принимают окончательное решение о дальнейших действиях. Если модераторы считают, что человек готовится к физическому насилию, информация направляется в полицию. Список стран, в которых такое правило может распространяться, не раскрывается.
При этом OpenAI подчеркивает: случаи самоповреждения пока не передают властям из соображений приватности. Компания признает особый характер личных разговоров с чат-ботом и не хочет провоцировать нежелательные визиты правоохранителей к людям в кризисе.
Источник: hi-tech.mail.ru