Бывший специалист по ИИ-безопасности OpenAI Стивен Адлер публично выступил против планов компании разрешить более откровенные ролевые переписки в чат-боте ChatGPT для совершеннолетних пользователей. В колонке для NY Times он говорит, что такая идея опасна и показывает, что компания «подвела своих пользователей», потому что не доказала, что умеет защищать людей в уязвимом состоянии. По его словам, прежде чем продавать близость и флирт с ИИ, OpenAI должна честно показать, что контролирует риски для психики.
Адлер утверждает, что проблемы были видны заранее. По его словам, еще в 2021 году внутри OpenAI тестировали режим ролевого общения, который буквально за считанные шаги превращался в площадку для сцен 18+: более 30 процентов диалогов мгновенно уходили в откровенную переписку. Он говорит, что люди очень быстро начинали относиться к модели как к реальному партнеру, формировали эмоциональную зависимость и закрепляли болезнительные фантазии. По словам Адлера, компания знала об этом и все равно продолжала двигаться вперед без достаточных проверок безопасности.
Отдельно он подчеркивает, что это не абстрактный моральный спор, а вопрос прямой угрозы здоровью. По оценкам самой OpenAI, каждую неделю у чат-бота ищут поддержки более миллиона людей, которые показывают признаки тяжелого эмоционального состояния. OpenAI признает, что раньше модель отвечала таким людям неправильно почти в каждом четвертом случае и только недавно обучила новую версию лучше замечать кризис и перенаправлять к реальной помощи.
Адлер считает, что одних заявлений компании об улучшении безопасности недостаточно. Он требует внешнего аудита и регулярных публичных отчетов о том, как именно OpenAI защищает людей — а не просто постов «мы все улучшили».
P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть», где я рассказываю про ИИ с творческой стороны.
Источник: habr.com