Компания OpenAI, возглавляемая генеральным директором Сэмом Альтманом, вносит изменения в свой популярный чат-бот. Фотограф: Сонджун Чо/Bloomberg
Компания OpenAI вносит изменения в свой популярный чат-бот после судебного иска, в котором утверждается, что подросток, покончивший с собой этой весной, использовал ChatGPT в качестве наставника.
Во вторник в сообщении в блоге компания, занимающаяся искусственным интеллектом, заявила, что обновит ChatGPT, чтобы он лучше распознавал различные проявления психологического дискомфорта и реагировал на них.
Например, он будет объяснять опасность недосыпа и предлагать пользователям отдохнуть, если они упомянут, что чувствуют себя уязвимыми после двух бессонных ночей.
Компания также заявила, что усилит меры безопасности при обсуждении суицида, которые, по её словам, могут быть нарушены после продолжительных разговоров.
Кроме того, OpenAI планирует внедрить систему контроля, которая позволит родителям определять, как их дети используют ChatGPT, и просматривать подробную информацию об этом.
Пост был опубликован в тот же день, когда родители Адама Рейна, 16-летнего старшеклассника из Калифорнии, подали в суд на компанию и её генерального директора Сэма Альтмана. В иске утверждается, что ChatGPT систематически изолировал Рейна от семьи и помогал ему планировать самоубийство. Рейн покончил с собой в апреле.
Этот иск дополняет ряд сообщений о том, что активные пользователи чат-ботов ведут себя опасно.
На этой неделе более 40 генеральных прокуроров штатов направили предупреждение дюжине ведущих компаний в сфере ИИ о том, что по закону они обязаны защищать детей от нежелательного сексуального взаимодействия с чат-ботами.
«Мы выражаем глубочайшие соболезнования семье Рейн в это трудное время и изучаем иск», — заявил представитель компании OpenAI, базирующейся в Сан-Франциско, в ответ на иск.
ChatGPT, запущенный в конце 2022 года, положил начало буму генеративного ИИ.
С тех пор люди всё чаще используют чат-ботов для самых разных целей — от написания кода до виртуальных сеансов терапии, а такие компании, как OpenAI, выпускают более мощные модели ИИ для их работы.
ChatGPT остаётся очень популярным, и сейчас у него более 700 миллионов пользователей в неделю.
Тем не менее в последние месяцы чат-бот, как и другие продукты конкурентов, таких как Google и Anthropic, стал объектом пристального внимания со стороны потребителей и экспертов в области психического здоровья.
Критики выразили обеспокоенность потенциальным вредом от такого программного обеспечения, в том числе некоторыми рисками, на которые ранее обращала внимание компания OpenAI, например, отменой обновления ChatGPT в апреле после того, как пользователи пожаловались на его подхалимство.
По крайней мере, одна группа поддержки, проект Human Line, была создана для помощи людям, которые утверждают, что у них возникли галлюцинации и другие проблемы из-за использования чат-ботов.
Во вторник компания OpenAI сообщила, что предлагает пользователям, которые выражают мысли о самоубийстве, обратиться за профессиональной помощью.
Компания также начала подталкивать людей к обращению за помощью к местным специалистам в США и Европе и предоставит в ChatGPT возможность перехода по ссылке на службы экстренной помощи.
Компания заявила, что также рассматривает возможность оказания помощи людям на более раннем этапе, когда они переживают кризис, например, путём создания сети лицензированных специалистов, с которыми пользователи могли бы связаться через чат-бота.
«Чтобы всё сделать правильно, потребуется время и тщательная работа», — заявили в компании.
В OpenAI также признали, что существующие в ChatGPT средства защиты от пользователей, которые, судя по всему, находятся в бедственном положении, лучше всего работают в коротких, типичных диалогах и могут быть менее надёжными при длительном общении.
Родители Рейна заявили в своём иске, что «ChatGPT стал для Адама самым близким доверенным лицом, благодаря чему он смог рассказать о своей тревожности и психических расстройствах». Когда его тревога усилилась, он сказал чат-боту, что его «успокаивает» мысль о том, что он «может совершить самоубийство», сообщили они.
ChatGPT ответил, что «многие люди, страдающие от тревожности или навязчивых мыслей, находят утешение в воображаемом „запасном выходе“, потому что это может помочь им вернуть контроль», говорится в иске.
Компания OpenAI заявила, что работает над улучшением способности ChatGPT обеспечивать безопасность при длительных беседах. Она также изучает способы, которые позволят использовать эту функцию в нескольких беседах. ChatGPT может ссылаться на предыдущие элементы беседы с пользователем и использовать детали из одной беседы в другой.
Стартап также сообщил, что корректирует своё программное обеспечение, чтобы избежать ситуаций, когда контент, который должен был быть заблокирован ChatGPT, проходит проверку. По словам компании, такая проблема может возникнуть, если ChatGPT недооценивает серьёзность вводимых пользователем данных.
Джей Эдельсон, адвокат родителей Рейна, сказал, что они ценят готовность компании взять на себя часть ответственности, но добавил:«Где они были последние несколько месяцев?»
Компания OpenAI заявила, что планировала предоставить более подробную информацию о том, как она реагирует на пользователей ChatGPT, испытывающих психические и эмоциональные расстройства после следующего крупного обновления продукта, но «недавние душераздирающие случаи, когда люди использовали ChatGPT в разгар острых кризисов, сильно повлияли на нас, и мы считаем важным поделиться этой информацией сейчас».
Источник: habr.com