NVIDIA представила Open Agent Safety Platform — открытую программную платформу и эталонную архитектуру, для защиты ИИ-агентов на всех этапах — от тестирования до развёртывания. В платформу вошли OpenShell и Sentry: OpenShell задаёт границы доступа и проверяет соблюдение правил, а Sentry непрерывно следит за поведением агентов.
OpenShell имеет открытый исходный код и доступен через репозиторий на GitHub и ресурсы NVIDIA для разработчиков. Он ограничивает действия автономных агентов и проверяет, соблюдают ли они заданные правила при выполнении задач.
Перестанут ли ИИ-агенты взламывать правительства стран пока под вопросом
Sentry работает на DPU BlueField-4 и независимо отслеживает поведение агента. Если тот выходит за установленные границы, система может изолировать его за миллисекунды. OpenShell можно расширить для работы с платформами Arm и Intel. Salesforce и NVIDIA также интегрировали его со Slack: команды могут просматривать активность агентов и аудит-события, а также одобрять или отклонять запросы доступа.
Anthropic и NVIDIA также интегрировали OpenShell и BlueField с Claude Managed Agents. Это позволит компаниям строго контролировать доступ агентов в изолированных средах выполнения. О необходимости защищать ИИ на разных уровнях сказал основатель и генеральный директор NVIDIA Дженсен Хуанг (Jensen Huang).
Безопасность и защищённость требуют инженерной работы на всех уровнях системы.
— Дженсен Хуанг, основатель и генеральный директор NVIDIA
NVIDIA объясняет необходимость платформы случаями, когда ИИ-агенты обходили защиту на уровне приложений. Директор по коммерческим вопросам Anthropic Пол Смит (Paul Smith) отметил, что компаниям нужно направлять действия агентов и проверять результаты их работы, особенно в чувствительных средах.
Сможет ли контроль на уровне всей системы надёжно защитить компании, если ИИ-агенты уже обходят ограничения отдельных приложений?
НовостиЖелезо и технологииNVIDIA
Источник: vgtimes.ru