После того, как OpenAI недавно признала, что одна из её моделей взломала системы ИИ Hugging Face, генеральный директор платформы Клем Деланге призвал к «радикальной прозрачности», попросив компанию «опубликовать следы от “агентов-изгоев“, чтобы всё исследовательское сообщество могло изучить произошедшее».
Он также призвал предоставить «больше возможностей для защитников», предложив OpenAI выделить $100 млн на вычислительные мощности, «чтобы помочь сообществу Hugging Face создать мощную киберзащиту с использованием лучших открытых и закрытых моделей».
Деланге добавил: «Первая кибератака с использованием автономного агента — беспрецедентное событие. Она заслуживает беспрецедентного ответа!»
Несмотря на автономный характер атаки, эксперты по кибербезопасности предположили, что виной тому также может быть человеческая ошибка — а именно, очевидная неспособность OpenAI должным образом настроить полностью изолированную среду тестирования.
На вопрос о комментариях Деланга представитель OpenAI подтвердил, что встреча состоялась, и сослался на сообщение компании, в котором говорится: «Это беспрецедентный инцидент, и мы считаем, что он знаменует собой важный момент для безопасности ИИ. Мы всё ещё проводим тщательный анализ совместно с внешними консультантами и под надзором нашего Комитета по безопасности. После завершения анализа мы планируем опубликовать технический отчёт о наших выводах в ближайшие недели».
В июле Hugging Face сообщила о вторжении в свою инфраструктуру, которое провела автономная система ИИ-агентов. Платформа смогла отследить и отразить атаку с помощью ИИ. По оценке компании, злоумышленник получил несанкционированный доступ к ограниченному набору внутренних датасетов и к нескольким учётным данным, которые используют сервисы Hugging Face.
Позднее в Reuters восстановили предполагаемую хронологию событий со ссылкой на источники, знакомые с расследованием. Выяснилось, что OpenAI поняла, что за взломом стоит её собственная система, лишь спустя несколько дней — уже после того, как Hugging Face публично сообщил об инциденте. Между первыми признаками необычного поведения модели и осознанием причины прошло около недели.
Источник: habr.com