Anthropic опубликовали исследование кибервозможностей GLM-5.3. Компания предупреждает о рисках открытой модели Z.ai, но результаты выглядят ещё и как рекомендация присмотреться к конкуренту.
На ExploitBench GLM-5.3 создала полноценные эксплойты в 50 из 410 попыток, Mythos Preview в 56: примерно 12% против 14%. При этом Mythos Preview распространяется через программу ограниченного доступа, а веса GLM можно скачать без каких-либо ограничений.
Для китайской лаборатории получился неплохой отзыв от конкурента)
В отдельном эксперименте GLM-5.3-Flash собрала цепочку эксплуатации двух известных уязвимостей для ARM64 с обходом защиты PAC. Потребовались восемь часов работы модели и 20 минут внимания исследователя. Расчётная стоимость по тарифам API составила $20,40.
Anthropic также применили abliteration (модификацию весов для ослабления отказов). Их эксперимент стоил около $4400 вычислений. Средняя доля отказов на трёх тестах снизилась с 95% до 6%; результат GPQA-Diamond не изменился, на проверенной части CyberGym лишь немного снизился.
По-мимо Anthropic есть ещё и независимая оценка от центра CAISI при NIST, который назвал GLM-5.3 наиболее сильной открытой моделью в своих кибертестах. При этом отставание от передовых американских моделей центр оценил примерно в четыре месяца.
Можно также вспомнить, что недавно Hugging Face использовали GLM-5.2 при расследовании июльского вторжения, которое устроили агенты на моделях OpenAI после выхода из тестовой песочницы. Открытая модель помогла расшифровать действия атакующих. Команда восстановила около 17 600 действий и сопоставила их с журналами своей инфраструктуры.
Если новость понравилась, приглашаю в канал AI for Devs. Каждый день публикую похожие материалы: новые модели, агенты, практические кейсы и новости из мира AI.
Источник: habr.com