Ни для кого не секрет, что технологии на базе искусственного интеллекта в последнее время берут на себя всё более и более сложные задачи, особенно те, что связаны с веб-технологиями. В связи с этим требования к безопасности меняются, так как вопрос внедрения третьей стороной вредоносного кода в последнее время стал крайне актуальным. Злоумышленники могут попытаться ввести ИИ-систему в заблуждение, чтобы вынудить её следовать вредоносным инструкциям или даже раскрыть конфиденциальную информацию пользователя. И чтобы этого избежать, OpenAI вчера, 13 февраля, представила два новых механизма защиты. Изображение: OpenAI
Эти инструменты создавались специально для того, чтобы повысить безопасность пользователей, а также снизить риски атак с применением мгновенной инъекции. И начать, пожалуй, стоит с режима блокировки Lockdown Mode в ChatGPT — это дополнительная расширенная настройка безопасности, которая предназначена для небольшой группы пользователей, которая уделяет особое внимание безопасности. Например, по словам компании, нововведение заинтересует руководителей или отделы безопасности в крупных организациях, которым необходима повышенная защита от сложных угроз. Данный режим существенно ограничивает взаимодействие чат-бота ChatGPT с внешними системами, дабы снизить риск утечки данных посредством вредоносной инъекции. «Lockdown Mode отключает определённые инструменты и возможности ChatGPT, которые злоумышленники могут использовать для кражи конфиденциальных данных из переписок пользователя или подключённых приложений», — говорится в пресс-релизе компании.
Например, просмотр веб-страниц в данном режиме ограничен кэшированным контентом, так что никакие запросы к сети в реальном времени не отправляются и контролируемую сеть OpenAI не покидают. Это необходимо для предотвращения утечки конфиденциальных данных, но, что довольно удивительно, в компании заявили, что обычным пользователям этот режим не нужен.
Кроме того, в компании заявили, что хотя OpenAI вложила значительные средства в обеспечения безопасности, некоторые сетевые возможности ИИ всё же создают определённые риски. И теперь система будет об этих рисках уведомлять. Изображение: OpenAI «Некоторые пользователи готовы принять эти риски — и мы считаем, что у пользователей должна быть возможность самостоятельно решать, как поступать, особенно в вопросах работы с личными данными», — говорится в пресс-релизе.
Для уведомления о рисках безопасности при использовании некоторых функций система будет отображать специальный маркер «Повышенный риск» во всех приложения OpenAI — ChatGPT, ChatGPT Atlas и Codex.
Источник: trashbox.ru