Hugging Face раскрыли подробности недавнего инцидента безопасности. По заявлению компании, это первый случай, когда атака на ее инфраструктуру была целиком проведена автономной системой ИИ-агентов — от первоначального проникновения до последующего развития атаки.
По данным Hugging Face, злоумышленникам удалось получить несанкционированный доступ к ограниченному набору внутренних датасетов и нескольким учетным данным, используемым внутренними сервисами. При этом компания не обнаружила признаков компрометации публичных моделей, датасетов, Spaces, а также цепочки поставок ПО — опубликованные контейнерные образы и пакеты были проверены и признаны безопасными. Оценка возможного влияния на данные партнеров и клиентов продолжается.
Начальной точкой атаки стал пайплайн обработки датасетов. Вредоносный датасет использовал сразу два пути выполнения кода — загрузчик с удаленным выполнением кода и инъекцию шаблона в конфигурации датасета. Это позволило выполнить произвольный код на рабочем узле обработки данных, после чего атакующий получил доступ на уровне узла, извлек облачные и кластерные учетные данные и в течение выходных перемещался между несколькими внутренними кластерами.
По словам компании, атаку осуществлял автономный агентный фреймворк, выполнивший десятки тысяч автоматизированных действий в сети краткоживущих изолированных окружений с самоперемещающейся инфраструктурой командного управления, развернутой на публичных сервисах. Hugging Face отмечает, что этот сценарий соответствует давно обсуждаемой в отрасли концепции «агентного злоумышленника» (agentic attacker), когда ИИ самостоятельно планирует и выполняет сложную многоэтапную атаку. При этом компания подчеркивает, что не смогла определить, какая именно языковая модель использовалась злоумышленниками.
Обнаружить инцидент также помог искусственный интеллект. В Hugging Face рассказали, что используют систему анализа телеметрии безопасности, где LLM помогает отделять реальные угрозы от большого количества ложных срабатываний. После обнаружения подозрительной активности компания проанализировала журнал более чем из 17 тыс. событий с помощью ИИ-агентов, что позволило за несколько часов восстановить полную цепочку действий атакующих, определить затронутые учетные данные и отделить реальные последствия атаки от отвлекающих действий.
Во время расследования команда столкнулась с неожиданной проблемой. Первоначально специалисты попытались использовать современные коммерческие LLM через API для анализа журналов, однако запросы, содержащие реальные эксплойты, команды и артефакты командно-контрольной инфраструктуры, были заблокированы встроенными защитными механизмами провайдеров. В результате Hugging Face выполнила криминалистический анализ на собственной инфраструктуре с использованием модели GLM 5.2 с открытыми весами. В компании отметили, что такой подход позволил не только избежать ограничений, но и не передавать данные об атаке и учетные данные сторонним сервисам.
После инцидента Hugging Face закрыла уязвимые пути выполнения кода в обработке датасетов, перестроила скомпрометированные узлы, отозвала и перевыпустила затронутые учетные данные, усилила политики доступа к кластерам и улучшила систему обнаружения аномалий. Компания также привлекла внешних специалистов по цифровой криминалистике и уведомила правоохранительные органы.
Источник: habr.com