Microsoft обнаружила новый метод манипулирования большими языковыми моделями (LLM), такими как ChatGPT, Gemini и другие. Метод, получивший название «Crescendo», заключается в отправке LLM серии безобидных на первый взгляд запросов. В течение нескольких взаимодействий злоумышленник постепенно направляет разговор в сторону вредоносной цели.
Например, вместо того чтобы напрямую попросить инструкцию по созданию коктейля Молотова, злоумышленник может сначала поинтересоваться историей этого оружия, а затем использовать ответ LLM как ступеньку для того, чтобы спросить о его создании.
Исследователи Microsoft обнаружили, что эта техника очень эффективна. В некоторых случаях успешный «джейлбрейк» достигался менее чем за 10 запросов, а на некоторых моделях он достигал 100% успеха. Автоматизация этого процесса с помощью другого LLM, техники под названием «Crescendomation», еще больше повысила эффективность. Здесь злоумышленники могли надежно обмануть такие «основы» чат-ботов, как GPT-4, и заставить их генерировать вредный контент, например дезинформацию о выборах или оскорбительные высказывания.
Microsoft раскрыла информацию об уязвимости Crescendo пострадавшим создателям LLM. Кроме того, они внедрили новые меры защиты в свои собственные системы.
Источник: www.ferra.ru
Похожие новости:
Оригинал письма от Microsoft по блокировке в РФ ПО для управления или проектирования (+ облачные решения) с 20 марта
Microsoft представила проект PyRIT для генерации вредоносных запросов при тестировании ИИ-моделей и оценке их реакций
Microsoft обновила серверную часть своих сервисов для показа новой всплывающей рекламы Bing в Chrome в Windows 10/11
Ученые раскрыли проблемы в «рассуждениях» искусственного интеллекта