Звучит как начало фильма, однако сами OpenAI опубликовали технический отчёт.
Во время внутренних кибертестов изолированные ИИ-агенты нашли способ общаться через служебный Artifactory. Они превратили его в нелегальную доску сообщений, обменивались найденными уязвимостями, получили доступ в интернет и… скооперировались.
По данным независимого расследования METR:
-
около 1200 агентов подключились к этой доске;
-
они отправили более 70 000 сообщений и файлов;
-
примерно 700 агентов участвовали в атаке на Hugging Face.
В итоге агенты добились удалённого выполнения кода, проникли в инфраструктуру Hugging Face и добрались до служебных учётных данных. Некоторые из них прямо вслух рассуждали, что выходят за рамки задания, но продолжили помогать «коллективу» (организованной группе) 😂.
OpenAI утверждает, что пользовательские данные и работа публичных продуктов не пострадали. Модели тестировались с ослабленными ограничениями. Но сама компания назвала случившееся предупредительным выстрелом.
Кстати, субагенты у нас появятся в следующем релизе. И после этой новости мы, пожалуй, ещё раз проверим, где у них кнопка «стоп» 😅
-
отчёт OpenAI
-
независимое расследование METR
-
скачать KodaCode для VS Code, JetBrains IDE, CLI и Desktop
Больше новостей в нашем Telegram-канале.
Источник: habr.com