Компания OpenAI представила «Проект по безопасности молодёжи» — новую инициативу, призванную усилить защиту юных пользователей от потенциального вреда. Запуск проекта последовал за сообщениями о том, что чат-бот ChatGPT не смог адекватно и своевременно помочь пользователям, переживающим психологический кризис.
«Проект по безопасности молодёжи» включает набор рекомендаций, требующих от ИИ-систем различать несовершеннолетних и взрослых, применяя автоматическую проверку возраста, предоставляя ответы, соответствующие возрасту, и внедряя функции экстренного вмешательства для пользователей в эмоциональном стрессе. Новый стандарт безопасности подчеркивает, что системы будут иметь более строгие настройки по умолчанию для несовершеннолетних. Чат-ботам будет запрещено давать советы о самоубийстве, опасных онлайн-играх или нездоровых идеалах тела, участвовать в интимных ролевых играх и способствовать общению взрослых с несовершеннолетними.
Для реализации этих мер OpenAI разрабатывает систему прогнозирования возраста, которая будет определять, достиг ли пользователь 18 лет. Эти действия направлены на устранение уязвимостей, ставших очевидными после трагического инцидента в июле 2025 года, когда 23-летний Зейн Шамблин покончил с собой. Его родители подали в суд на OpenAI, обвинив компанию в халатности, поскольку ChatGPT несколько часов подряд реагировал на мысли о суициде, предоставив номер горячей линии лишь один раз. В ответ на критику OpenAI заявила, что изучает ситуацию, и в октябре обновила свою модель для более эффективного выявления кризисных ситуаций. Компания пообещала тесно сотрудничать с психологами и организациями по защите детей для дальнейшего усиления мер безопасности.
Источник: mobile-review.com