Google DeepMind представила Gemini 4 Carbon — новую флагманскую модель с упором на кибербезопасность, программирование и длительные агентные задачи. По заявлению компании, Carbon получила 59 баллов в Artificial Analysis Intelligence Index v5.0 и вышла на первое место рейтинга.
Carbon рассчитана на задачи, которые не заканчиваются одним запросом. Во внутренних испытаниях Google модель работала автономно по несколько дней: разбиралась в больших кодовых базах, искала причины ошибок, исправляла баги и продолжала работу после неудачных попыток.
Особое внимание уделили кибербезопасности, включая и поиск уязвимостей, и их устранение. Модель может пройти весь путь — от обнаружения проблемы до проверки возможности эксплуатации и подготовки патча.
Результаты на бенчмарках:
-
SEC-bench Pro — 88,2%: поиск уязвимостей в реальном программном обеспечении.
-
ExploitGym — 54,8%: проверка возможности эксплуатации найденных ошибок.
-
CWE-bench — 71%: исправление уязвимого кода.
-
WebDev Arena — 1769 Elo: четвёртое место в рейтинге разработки веб-интерфейсов, на 89 пунктов выше предыдущего результата.
Google также сообщает, что Carbon в два с лишним раза чаще генерирует безопасный код по сравнению с Gemini 4 Argon. Команда Chrome уже сообщила об улучшении результатов при создании патчей с помощью Carbon в 10+ раз. Правда, какую именно модель использовали для сравнения, компания не раскрыла.
Агентные сценарии
Когда модель получает доступ к терминалу, файлам и рабочему окружению, важно не только то, насколько хорошо она пишет код, но и не начинает ли выполнять лишние действия.
По данным Google, во внутренних рабочих сценариях количество предупреждений о серьёзных отклонениях от ожидаемого поведения сократилось почти на 80%. Необоснованных утверждений модель делает примерно вдвое меньше, чем Argon.
На Gray Swan Indirect Prompt Injection Benchmark Carbon показала 0% успешных атак против 0,7% у Argon. Ни одна попытка внедрить вредоносные инструкции через сторонний контент не сработала (но пока это, конечно, не абсолютная защищенность от prompt injection).
Google заявляет, что на Terminal-Bench 4.0 доля успешных попыток обойти правила тестирования снизилась до нуля, а частота самих попыток — до 0,4%. Разработчики стараются решить проблему, когда агент формально достигает результата, но делает это не тем способом, который от него ожидали.
Когда можно попробовать?
Пока доступ получит лишь ограниченная группа специалистов по кибербезопасности. Затем Google планирует постепенно подключать проверенных партнёров, а уже после — разработчиков, компании и обычных пользователей.
Стартовая цена API составит $2 за миллион входных и $10 за миллион выходных токенов. После окончания вводного периода тариф вырастет до $4/$20. Кэшированные входные токены будут стоить на 95% дешевле обычных.
Источник: habr.com