Эксперты Сбера на конференции OFFZONE 2026 представили рекомендации по защите саморазвивающихся агентов на базе искусственного интеллекта (ИИ). Такие системы способны самостоятельно изменять память, навыки и код, поэтому безопасность базовой ИИ-модели не гарантирует защиту всего агента.
Для снижения рисков специалисты предлагают изолировать агентов, разделять среды разработки и эксплуатации, а также выносить защитные механизмы за пределы исполняемого кода. Дополнительно рекомендуется создать корпоративный реестр навыков с обязательной проверкой инструментов и запускать сгенерированный код в песочнице с ограничениями по времени, сети, процессору, памяти и файловой системе.
Защита также должна включать сбор телеметрии и метрик и блокировку аномалий в реальном времени. Обновленная модель угроз Сбера описывает 37 угроз и 51 способ их реализации, включая риски GenAI, ИИ-агентов и мультиагентных систем.
Источник: www.ferra.ru