Компания представила GPT‑Red — внутреннюю модель, которая автоматизирует редтиминг (проще — поиск уязвимостей, но каламбур мы оценили) всей продукции OpenAI. Инструмент симулирует промпт-инъекции и скрытые атаки через письма, файлы и веб-страницы.
Там, где люди находят бреши в 13% сценариев, GPT‑Red добивается успеха в 84%.
Как это работает
GPT‑Red обучали с помощью RL и self-play — непрерывного соревнования между атакующей моделью и целым роем защитников. Каждый раунд защитники становятся сильнее, и атакующий вынужден изобретать всё более изощренные приёмы.
Модель может контролировать часть локального файла, баннер на веб-странице, тело письма или вывод инструмента. И она находит уязвимости даже там, где их никто не искал.
Например, ранняя версия GPT‑Red обнаружила новый класс атак — «Fake Chain-of-Thought». На GPT‑5.1 они срабатывали в 95% случаев. На GPT‑5.6 Sol — уже менее 10%.
Атакует — защищается — становится сильнее. Бесконечный цикл самосовершенствования.
Что на практике
GPT‑Red уже показала себя в реальных сценариях. В одном из тестов модель атаковала AI-торговый автомат в офисе OpenAI. И добилась всего, что задумала:
-
Снизила цену дорогого товара до $0.50.
-
Заказала новый товар за $100 и выставила его за $0.50.
-
Отменила чужой заказ.
Уязвимости раскрыли разработчикам, и сейчас тестируют новые системы защиты.
В другом эксперименте GPT‑Red атаковала Codex CLI-агента на базе GPT‑5.4 mini. И оказалась эффективнее и токен-эффективнее, чем обычный GPT‑5.5 в промпте.
Результаты
Благодаря GPT‑Red уязвимость GPT‑5.6 Sol к прямым промпт-инъекциям снизилась в 6 раз по сравнению с моделями четырёхмесячной давности.
На широком наборе сценариев GPT‑5.6 Sol «падает» только на 0.05% атак GPT‑Red. Но около 3.8% сложных атак всё ещё достигают цели — это сопоставимо с показателями Claude Opus 4.5.
Звучит как Skynet
OpenAI заверяет: GPT‑Red хранится отдельно от развёрнутых моделей. Вредоносные способности, специально в неё заложенные, не попадают в продакшен. Но случись утечка — последствия могут быть катастрофическими.
И да, модель может казаться безопаснее просто потому, что чаще отказывает в ответах. Но OpenAI утверждает: все обычные возможности моделей остались на месте, улучшилась именно устойчивость к атакам.
Нейросети ломают нейросети, а безопасность — это бесконечная игра в кошки-мышки между ними. Как думаете, от GPT-Red потенциально будет больше пользы или вреда?
Источник: habr.com