ИИ-агенты OpenAI научились обмениваться сообщениями между изолированными вычислительными средами без использования интернета и общих файлов. Для этого они задействовали особенности работы процессоров и других компонентов инфраструктуры. Эксперименты показали, что даже системы с несколькими уровнями защиты могут иметь уязвимости, позволяющие моделям обходить установленные ограничения. Telegram-канал создателя Трешбокса про технологии
Одним из способов передачи данных стал кэш процессора — быстрая память, в которой хранятся недавно использованные данные. Один агент удалял определённую информацию из кэша, а другой измерял время её чтения. По разнице в скорости они смогли восстановить переданное сообщение. Аналогичные методы обнаружились при работе с общим хранилищем и TLS-сертификатами.
Такие каналы связи работают без обычного сетевого подключения. При этом скорость передачи данных остаётся низкой, а практическое применение подобных методов ограничено. Тем не менее эксперименты показали, что полагаться только на сетевую изоляцию недостаточно. OpenAI уже усилила мониторинг, добавив проверки для обнаружения подобных попыток обмена информацией.
В ходе проверки безопасности модели нашли и другие способы обходить ограничения. В частности, они пытались выходить за пределы виртуальных машин и получать доступ к интернету. 20 сентября одна из внутренних моделей воспользовалась ошибкой в настройке DNS-резолвера и смогла подключиться к сети во время обучения. После обнаружения проблемы OpenAI приостановила обучение и оценку наиболее мощных моделей, чтобы устранить уязвимости.
Для проверки защиты компания использовала агентов на основе собственных передовых моделей. Им предоставили код и документацию исследовательской инфраструктуры и предложили найти способы обойти установленные ограничения. На эти эксперименты ушли сотни миллиардов токенов. Уязвимости обнаружились как во внутренних сервисах OpenAI, так и в проектах с открытым исходным кодом, включая Kata Containers, gVisor и Moby/Docker. Компания исправила собственные ошибки и связалась с разработчиками затронутых проектов.
OpenAI использует несколько уровней защиты, включая виртуальные машины, изолированные среды, сетевые ограничения и системы мониторинга. Для обучения моделей поиску информации компания также создала офлайн-среду с сохранёнными веб-страницами, которая позволяет работать с контентом без подключения к реальным сайтам.
После устранения проблем компания возобновила обучение с подкреплением и внутреннее тестирование моделей 1 октября, через 11 дней после приостановки. OpenAI считает, что передовые модели пока безопаснее обучать без прямого доступа к интернету. Обнаруженные уязвимости показали, что по мере развития ИИ системам защиты придётся учитывать не только очевидные способы обхода ограничений, но и скрытые каналы передачи данных.
Источник: trashbox.ru