Оказалось, что сервис может поделиться подробными инструкциями опасных веществ.
Чат-боты могут предоставлять опасные инструкции по созданию биологического оружия, выяснили журналисты The Wall Street Journal. В некоторых случаях ответы оказались настолько подробными, что их можно было использовать при наличии базовых знаний школьной биологии.
По данным издания, после улучшения возможностей ChatGPT пользователи со всего мира начали задавать ему вопросы о создании и распространении токсинов и биологического оружия. Среди запросов были способы распыления патогенов в виде аэрозоля, создание устойчивого к вакцине варианта вируса кори и синтез рицина — токсина, запрещенного международными соглашениями.
Эксперты в области биологии и борьбы с терроризмом изучили некоторые ответы чат-бота и заявили, что отдельные инструкции были достаточно точными, чтобы потенциально привести к массовому поражению людей. Компания OpenAI, разработчик ChatGPT, заблокировала часть таких аккаунтов, однако не передала информацию правоохранительным органам. В США пока нет закона, который обязывал бы разработчиков ИИ ограничивать или раскрывать подобные запросы.
Попытки получить опасные инструкции предпринимались не только у ChatGPT, но и у других популярных моделей, включая Claude, Gemini и Grok. Исследователи Cisco выяснили, что обход защитных механизмов некоторых ИИ-систем может потребовать всего нескольких взаимодействий с чат-ботом. Компании-разработчики ИИ поддерживают введение дополнительных правил для предотвращения создания биологического оружия. В частности, глава OpenAI Сэм Альтман и другие руководители предложили усилить контроль за заказами синтетической ДНК и РНК, чтобы проверять личность покупателя, цель использования и потенциальные риски генетических последовательностей.
Источник: hi-tech.mail.ru