Компания Check Point Research обнаружила скрытый канал, позволяющий сеансу ChatGPT под одной учётной записью отправлять задачи в совершенно отдельный сеанс другого аккаунта. При этом в беседе обоих пользователей не наблюдалось ничего необычного.
Канал проходил через внутренний сервис доставки пакетов (JFrog Artifactory), к которому были разрешены контейнеры выполнения кода ChatGPT. Сервис был предназначен для изоляции контейнеров друг от друга, но он позволял любому контейнеру записывать и читать общие метаданные, которыми изолированные учётные записи никогда не должны были делиться.
Исследователи Check Point обнаружили, что эта служба предоставляет функцию управления элементами, позволяющую любому контейнеру прикреплять текстовые или бинарные свойства к элементу репозитория и считывать эти свойства обратно. Учётных данных для чтения, уже имеющихся внутри каждого контейнера, было достаточно для обеих операций. В компании подтвердили наличие уязвимости изоляции: свойство, записанное из контейнера одной учётной записи, через несколько мгновений становилось полностью читаемым из контейнера другой, при этом большие данные просто разбивались на фрагменты и собирались заново. Метаданные доставки пакетов фактически становились общим буфером обмена между контейнерами, которые должны были быть изолированы друг от друга.
Сессия злоумышленника могла записать задачу в это общее хранилище. Одной внедренной инструкции, переданной через вредоносную подсказку, общий диалог или пользовательскую таблицу типов (GPT), было достаточно, чтобы сессия жертвы проверила это же хранилище во время своего следующего обычного ответа.
Масштаб атаки полностью зависел от того, к чему у жертвы уже были права доступа. Это включало историю переписки и файлы внутри затронутого чата, а также всё, что было доступно через подключённые приложения жертвы, такие как Gmail, Google Drive, Microsoft Teams или GitHub. Приложения в ChatGPT по умолчанию автоматически разрешают операции чтения, считающиеся низкорискованными, без дополнительного подтверждения.
В ходе демонстрации в реальном времени сессия злоумышленника запросила у сессии жертвы данные из подключённой учётной записи Gmail. Жертва отправила одно обычное сообщение, увидела ответ и даже не знала, что помощник параллельно выполнял задачу для кого‑то ещё. Единственным следом, который зафиксировали специалисты Check Point Research, была небольшая пометка «Talked to Gmail» рядом с ответом; она появилась в логах уже после того, как чтение данных состоялось.
От жертвы практически ничего не требовалось: вредоносная подсказка, вставленная в чат, ссылка на общий разговор или пользовательский GPT со скрытой инструкцией — всего этого было достаточно для активации.
Компания Check Point Research сообщила об этом OpenAI, которая подтвердила, что конкретный внутренний экземпляр Artifactory, участвовавший в инциденте, был выведен из эксплуатации.
Доказательство концепции Check Point Research уже работало до того, как отдельная цепочка действий на том же экземпляре Artifactory в конечном итоге привела к компрометации Hugging Face, о которой OpenAI впоследствии публично сообщила.
В компании отметили, что это открытие имеет важное значение в истории с Hugging Face. Хотя в обоих случаях речь идет о разных атаках и методах, их объединяет использование одного и того же общего сервиса, обеспечивающего работу ChatGPT. Это свидетельствует о более масштабной проблеме, выходящей за рамки каждого из этих конкретных случаев.
Исследователи предупредили, что любой ИИ‑помощник, работающий в пределах периметра доверия организации — использующий учётные данные, выполняющий код и взаимодействующий со связанными сервисами, — может превратиться в так называемого «вынужденного инсайдера». Сама модель при этом не обязательно должна быть вредоносной. Достаточно лишь убедить её — с помощью текста, которому она изначально не должна была доверять, — воспользоваться правами доступа, предоставленными для вполне законных целей.
Исследователи советуют внедрить средства защиты в режиме реального времени, способные выявлять попытки манипуляции и предотвращать утечку конфиденциальных данных, а также регламентировать действия ИИ‑инструментов и агентов, рассматривая не только результаты их работы, но и сами выполняемые ими операции как объекты, требующие мониторинга и контроля.
Между тем OpenAI сообщила Палате представителей США, что её инженеры разрабатывают «автоматические возможности отключения» для систем ИИ. Компания также усложнила доступ моделей ИИ к интернету во время тестирования безопасности.
Источник: habr.com