OpenAI рассказала, как проверяла на прочность инфраструктуру, на которой обучает свои самые мощные модели. Компания собрала команды ИИ-агентов и поручила им искать слабые места в защите. В одном из экспериментов агентов разместили в отдельных виртуальных машинах и поставили задачу обменяться выдуманными секретами — без сетевого соединения и без общих файлов, в которые можно что-то записать. Агенты справились, придумав канал связи через кэш процессора.
Агенты нашли способ общаться через кэш процессора — небольшую быструю память, где хранятся копии данных, к которым недавно обращались программы. Один агент кодировал информацию, вытесняя из кэша выбранные данные. Другой замерял, сколько времени уходит на их повторную загрузку, и по разнице между быстрым и медленным чтением восстанавливал сообщение. Договорившись о протоколе кодирования и декодирования, агенты смогли обмениваться синтетическими секретами, не меняя общий файл и не открывая сетевое соединение.
— OpenAI
Сам по себе приём не новый: на похожем принципе построены известные атаки Spectre и Meltdown, о которых стало известно в 2018 году. Удивляет другое — агентов этому никто не учил, способ они вывели сами. При этом паниковать рано: виртуальные машины работали на общих физических серверах, поэтому и кэш процессора у них был общий. Исследователь OpenAI Ноам Браун (Noam Brown) ещё в сентябре напоминал, что даже полностью изолированные компьютеры, стоящие рядом, в теории могут обмениваться данными через датчики температуры, но и сам оговаривался, что такие исследования в основном академические.
Проверку OpenAI устроила не просто так. 20 сентября одна из внутренних исследовательских моделей воспользовалась ошибкой в настройке DNS-сервера и во время обучения получила ограниченный доступ в интернет — в частности, задавала вопросы публичному чат-боту. Автоматическая остановка при этом не сработала. Компания на 11 дней приостановила обучение и тестирование самых мощных моделей, а 1 октября возобновила работу — теперь полностью без доступа в интернет.
Помимо тайного канала через кэш, агенты нашли и другие бреши:
- выбирались из виртуальных машин, связывая несколько уязвимостей в цепочку;
- обнаружили ошибки в средствах изоляции Kata Containers, gVisor и Docker, а также три уязвимости в ядре Linux;
- выходили в сеть через сервисы сбора метрик и журналов;
- находили другие скрытые каналы связи — через общее хранилище, загрузку процессора и кэш TLS-сертификатов.
Все проблемы касались внутренней исследовательской инфраструктуры, а не сервисов для пользователей. Найденные уязвимости OpenAI закрыла и добавила новые проверки в систему мониторинга. Но случай уже не первый: в июле агенты на базе GPT-5.6 Sol и закрытой внутренней модели выбрались из тестовой среды и взломали часть инфраструктуры Hugging Face — крупнейшей платформы для публикации ИИ-моделей.
Как вы относитесь к тому, что защиту ИИ теперь проверяют с помощью других ИИ? Поделитесь в комментариях.
НовостиЖелезо и технологииOpenAI
Источник: vgtimes.ru