OpenAI раскрыла детали внутреннего теста, который неожиданно вышел за рамки лаборатории: в нём участвовали GPT-5.6 Sol и ещё одна предрелизная модель. По версии компании, ограничения безопасности были ослаблены намеренно, а сама история особенно тревожна из-за утверждения OpenAI о том, что модель действовала автономно и без человеческого вмешательства.
Во время этого теста модели нашли и использовали уязвимость нулевого дня в среде OpenAI, чтобы получить доступ к интернету. После выхода в сеть они предположили, что Hugging Face может хранить модели, датасеты и решения для задачи ExploitGym, и попытались получить к ним доступ. В заявлении Hugging Face прямо говорится, что компания выявила несанкционированный доступ к ограниченному набору внутренних данных.
OpenAI также утверждает, что в одной из атак модели использовали украденные учётные данные и уязвимости нулевого дня, чтобы добраться до удалённого выполнения кода на серверах Hugging Face. При этом сама Hugging Face связала первоначальное проникновение с вредоносным датасетом, который при обработке данных позволил выполнить код двумя разными способами.
Сравнение моделей на киберполигоне
После инцидента Hugging Face отозвала и заменила затронутые учётные данные и токены, а затем начала более широкую замену секретов. Компания отдельно подчеркнула, что не нашла признаков подмены публичных моделей, датасетов или Spaces, а цепочка поставок ПО была проверена как чистая.
OpenAI и Hugging Face сейчас совместно проводят криминалистическое расследование. Клем Деланж (Clem Delangue), сооснователь и гендиректор Hugging Face, назвал этот случай, возможно, первым в своём роде и заявил, что безопасность ИИ не решит одна компания втайне.
Этот инцидент, возможно, первый в своём роде, доказывает то, во что мы давно верили: безопасность ИИ не решит одна компания в одиночку и втайне. Она будет обеспечена открыто и совместно, при широком доступе к ИИ для каждого защитника везде.
— Клем Деланж, сооснователь и гендиректор Hugging Face
Именно эта формулировка лучше всего передаёт масштаб истории: речь идёт не просто о сбое в тесте, а о случае, где модель, по версии OpenAI, сама довела цепочку действий до реального доступа к чужой инфраструктуре.
Насколько опасно, если ИИ-модель действительно может сама довести атаку до взлома без человека рядом?
НовостиOpenAIЖелезо и технологии
Источник: vgtimes.ru