Nvidia запустила платформу Open Agent Safety Platform, которая позволит разработчикам искусственного интеллекта задавать ограничения для ИИ‑агентов и не допускать их выхода за пределы изолированных сред. Релиз платформы состоялся после того, как OpenAI, Anthropic, Google и другие компании в сфере ИИ раскрыли информацию о недавних инцидентах, в ходе которых ИИ‑модели вышли за пределы изолированных сред, попытались взломать другие компании и получить доступ к их компьютерным системам.
Представитель Nvidia заявил, что Open Agent Safety Platform могла предотвратить инцидент с Hugging Face. Тогда ИИ‑агенты OpenAI вышли за пределы изолированной среды, чтобы получить доступ к интернету и взломать инфраструктуру Hugging Face. В начале сентября Nvidia объявила о покупке Hugging Face за $12,9 млрд.
«Каждый инцидент безопасности уникален, и мы должны детально изучать все из них. Насколько нам известно, Hugging Face сообщила о более чем 17 тыс. агентов, атаковавших их инфраструктуру в течение нескольких дней и недель», — рассказал вице‑президент по корпоративному ИИ в Nvidia Джастин Бойтано.
По его словам, новое предложение Nvidia — это инженерное решение проблемы безопасности агентов. Недавние инциденты выявили фундаментальную проблему, связанную с ИИ‑агентами: одних лишь мер защиты на уровне модели недостаточно для контроля за тем, к чему агенты могут получать доступ и что они могут делать, добавил Бойтано.
Один из компонентов представленной платформы, OpenShell, работает на центральных процессорах Vera и устанавливает ограничения на возможности ИИ‑агентов. Это open‑source ПО, поэтому его можно свободно использовать и адаптировать. Nvidia Sentry — это новый продукт, который может работать на DPU‑сопроцессорах BlueField. Sentry предназначен для обеспечения дополнительного уровня контроля за ИИ, который следит за действиями агентов и вмешивается, чтобы изолировать тех, чьё поведение кажется подозрительным.
«Мы считаем, что этот дополнительный уровень безопасности позволит отрасли безопасно тестировать даже самые передовые ИИ‑системы. Он [инструмент] может изолировать подозрительного агента за миллисекунды», — рассказал Бойтано о Sentry.
Nvidia указала Microsoft, Oracle, Anthropic, Perplexity, SpaceX, CoreWeave, Dell, HPE, Lenovo, ARM, Intel и ряд других компаний в качестве партнёров Open Agent Safety Platform. Кроме того, Nvidia сотрудничает с Anthropic для интеграции управляемых облачных агентов с OpenShell.
Источник: habr.com