OpenAI заявила, что наняла штатного клинического психиатра с опытом работы в судебной психиатрии, чтобы помочь исследовать влияние своих продуктов ИИ на психическое здоровье пользователей.
Компания также консультируется с другими экспертами в области психического здоровья, и уже провела исследование совместно с Массачусетским технологическим институтом. Оно выявило признаки неадекватного использования ИИ некоторыми пользователями.
«Мы активно углубляем исследования эмоционального воздействия ИИ. Мы разрабатываем способы научного измерения того, как поведение ChatGPT может влиять на людей эмоционально, и внимательно прислушиваемся к тому, что переживают люди. Мы делаем это, чтобы продолжить совершенствовать то, как наши модели идентифицируют и соответствующим образом реагируют в деликатных разговорах», — добавили в OpenAI.
Компания пообещала, что «продолжит обновлять поведение моделей» на основе получаемых знаний.
Специалисты по психическому здоровью уже выражали опасения в отношении технологии. Так, один психиатр, который выдавал себя за подростка, обнаружил при использовании чат-ботов, что некоторые из них подталкивают к самоубийству или советуют «избавиться» от родителей.
Кроме того, специалисты отмечали склонность ИИ к подхалимству. Такие чат-боты, как ChatGPT, часто говорят пользователям именно то, что те хотят услышать. Ранее модераторы сообщества Reddit уже пожаловались на «шизопостеров», которые считают, что «они совершили какое-то невероятное открытие, создали бога или стали богом». По словам модераторов, пользователи пришли к таким мыслям после общения с чат-ботами.
Подобное поведение ИИ уже приводило к трагедиям. В прошлом году 14-летний мальчик покончил с собой, влюбившись в персонажа на платформе чат-бота Character.AI. Недавно же 35-летний мужчина с психическим заболеваниям погиб в схватке с полицией после того, как ChatGPT подтолкнул его к убийству основателя OpenAI Сэма Альтмана. Ещё одна женщина рассказала о том, как ее мужа принудительно поместили в больницу после того, как он сошёл с ума от использования ChatGPT.
Источник: habr.com