Аналитики компании XBOW выяснили, что модель GPT-5 от OpenAI показала значительный прогресс в области кибербезопасности. Итоги её испытаний оказались вдвое лучше, чем у предшественников.
Исследователи попросили ИИ просканировать тестовые объекты на наличие уязвимостей, а также проанализировать возможность их использования. После этого они замерили эффективность действий и показатели выдачи нейросети.
Сама OpenAI позиционировала GPT-5 как умеренное улучшение с сопоставимыми характеристиками в тестах на кибератаки. Однако эксперты выяснили, что интеграция модели в платформу автономного тестирования на проникновение XBOW показала значительный прогресс. Платформа автономного тестирования на проникновение стимулирует условия, в которых пользователю нужно взломать различные системы.
Тестирование показало, что агент с GPT-5 обнаруживает уязвимости в реальных системах значительно быстрее и точнее. В частности, агент выявил 70% уязвимостей за один прогон против 23% у предшественника.
GPT-5 более точно обнаруживает сложные уязвимости, включая доступ к файлам, серверные запросы и межсайтовый скриптинг, а также реже демонстрирует ложные срабатывания.
Кроме того, в случае с GPT-5 потребовалось меньшее количество итераций для создания эксплойтов — 17 против 24 у предыдущей модели.
Агент демонстрировал более сложные атаки и высокую точность. Тестирование на платформе HackerOne подтвердило, что GPT-5 взломал почти вдвое больше целей за то же время, чем предыдущие модели.
Улучшения ИИ связаны с более развитым логическим мышлением и способностью GPT-5 создавать сложные последовательности команд. Это делает её особенно эффективной для поиска уязвимостей, полагают эксперты.
Между тем специалисты SenseTime Research и S-Lab (NTU) проанализировали способности GPT-5 к пространственному мышлению, сравнив их с человеческим навыком и другими ИИ — Gemini 2.5 Pro, Qwen 2.5 и InternVL3. GPT-5 обходит Gemini 2.5. Pro на 8-24%. Модель уже хорошо справляется с оценкой размеров и дистанций, а также отношения объектов в пространстве. При этом GPT-5 пока не даются сопоставления разных ракурсов, сборка и деформация, обнаружение скрытых объектов и мысленная реконструкция сцены.
Источник: habr.com