Open Agent Safety Platform — открытая система из двух компонентов, которая изолирует вышедшего из-под контроля автономного агента за миллисекунды. На старте платформу поддержали более ста компаний.
Глава NVIDIA Дженсен Хуанг представил платформу Open Agent Safety Platform на фоне участившихся инцидентов с автономными агентами. Этим летом агенты на базе моделей OpenAI прорвались на платформу Hugging Face, совершив тысячи несанкционированных действий. Схожие нарушения зафиксировали у Anthropic, Google и других компаний. «Колоссальный потенциал ИИ для общества удастся реализовать, только если мы решим проблему безопасности», — заявил Хуанг.
Платформа состоит из двух компонентов. OpenShell — программный модуль с открытым кодом, который устанавливает цифровые границы вокруг агента еще до его запуска и формально проверяет, что агент получил ровно те права, которые нужны для конкретной задачи, — и ни одним разрешением больше. Код открыт, поэтому платформу можно адаптировать под процессоры других производителей, в том числе Arm и Intel. Первый анонс OpenShell состоялся в марте 2026 года.
Второй компонент — Sentry — работает на аппаратном и сетевом уровне независимо от основных процессоров: он выполняется на специализированных сетевых ускорителях NVIDIA BlueField-4 и в реальном времени отслеживает все действия агента. Если агент попытается выйти за рамки разрешенной среды, Sentry заблокирует его за миллисекунды.
Источник: hi-tech.mail.ru