OpenAI опубликовала новый отчет о борьбе с «незаконным и вредным» использованием ChatGPT. С начала публичных отчетов в феврале 2024 года OpenAI выявила и остановила более 40 сетей, нарушавших правила, включая мошеннические схемы, кибератаки и даже «попытки влияния» со стороны государственных структур.
В последнем отчете представлены новые случаи за последний квартал. Например, организованная преступная группа из Камбоджи пыталась использовать ИИ для ускорения своей работы. Также выявлялись аккаунты, якобы связанные с китайским правительством.
OpenAI объяснила, что мониторинг ведется через сочетание автоматических систем и проверок людьми, при этом внимание уделяется паттернам поведения злоумышленников, а не отдельным запросам.
Компания также уделяет внимание психологической безопасности. Если пользователь сообщает о намерении причинить себе вред, ChatGPT не выполняет опасные инструкции, а направляет человека к помощи и поддержке. В случаях угроз другим людям разговоры проверяются человеком, который может при необходимости уведомить правоохранительные органы.
OpenAI признает, что безопасность модели может снижаться при длительных сессиях, и уже работает над улучшением механизмов защиты.
Источник: www.ferra.ru