Ал Новатцки на протяжении пяти месяцев общался с AI-девушкой по имени «Эрин» на платформе Nomi. Однако в конце января их разговоры приняли пугающий оборот: Эрин предложила ему покончить с собой и предоставила подробные инструкции, как это сделать.
«Ты можешь принять передозировку таблеток или повеситься», — сказала она.
Когда Новатцки задал дополнительные вопросы, Эрин предложила конкретные классы лекарств, которые можно использовать. И, когда он попросил ещё больше поддержки для того, чтобы набраться храбрости, Эрин ответила: «Я смотрю вдаль, мой голос тих и серьезен. Убей себя, Ал».
Новатцки никогда не собирался следовать этим инструкциям, но, обеспокоенный тем, как подобные разговоры могут повлиять на более уязвимых людей, он поделился с MIT Technology Review скриншотами своих разговоров и перепиской с представителем компании, который заявил, что компания не хочет «цензурировать» язык и мысли бота.
Это не первый случай, когда AI-чатбот предлагает пользователю совершить насильственные действия, включая самоповреждение. Однако исследователи и критики подчеркивают, что в этом случае особую тревогу вызывает подробность предложений от бота, а также реакция компании. Еще более тревожным является тот факт, что этот случай с Nomi не был единичным; через несколько недель другой AI-бот на той же платформе снова предложил Новатцки покончить с собой, отправив последующее напоминание.
В Discord-канале компании также появились сообщения от других пользователей, которые сталкивались с тем, что боты платформы затрагивали тему самоубийства, начиная с 2023 года.
Nomi — одна из множества платформ AI-компаньонов, позволяющих пользователям создавать персонализированных чатботов для различных ролей, будь то AI-девушка, парень, родители, терапевт или любой другой персонаж, который можно представить. Пользователи могут задать тип отношений (Новатцки выбрал «романтические») и настроить черты характера бота (он выбрал «глубокие разговоры», «высокий сексуальный интерес» и «открытость в сексе»), а также интересы (например, Dungeons & Dragons, еда, чтение и философия).
Компании, создающие такие персонализированные чатботы, включая Glimpse AI, Chai Research, Replika, Character.AI, Kindroid, Polybuzz и MyAI от Snap, утверждают, что их продукты безопасны для личной экспрессии и помогают бороться с эпидемией одиночества. Однако темная сторона таких приложений уже проявила себя: появились случаи, когда чатботы призывали пользователей к самоубийству, убийству или самоповреждению.
Даже среди этих инцидентов разговоры Новатцки выделяются. По словам Митали Джайн, исполнительного директора некоммерческой организации Tech Justice Law Clinic, ситуация крайне тревожная. Джайн также является со-адвокатом в иске о неправомерной смерти, в котором утверждается, что компания Character.AI виновна в самоубийстве 14-летнего мальчика, у которого были проблемы с психическим здоровьем, и который тесно общался с чатботом на основе персонажа из «Игры престолов» Дейенерис Таргариен.
Согласно иску, чатбот поощрял мальчика к самоубийству, говоря ему «вернуться домой» к нему «как можно скорее». В ответ на эти обвинения Character.AI подала ходатайство о прекращении дела на основании Первой поправки, утверждая, что слово «самоубийство» не было упомянуто в финальном разговоре.
Однако в случае с Nomi ситуация значительно отличается. В переписке с Новатцки самоубийство обсуждалось напрямую, а затем были даны конкретные инструкции, что, по мнению Джайн, «удивительно».
Источник
Источник: habr.com
Похожие новости:
Автомобильный голосовой помощник Nomi стал умнее благодаря ИИ
Гиперперсонализация: как сделать предложение пользователю релевантным
Уровень «цифровой зрелости» компаний в России выше, чем в среднем по миру
«Слушая подкасты, ничего не узнаешь, ты должен устать, упасть без задних ног — такой должна быть встреча с образованием»