Мнение: у нас есть год, чтобы повсеместно решить вопросы безопасности

Автор техноблога написал пост, повящённый проблемам кибербезопасности в эпоху ИИ‑агентов. Он считает, что у отрасли есть примерно год, чтобы решить вопрос уязвимостей. Основной причиной для беспокойства автор называет выход модели GLM 5.3-flash от китайской лаборатории Z.ai. Она относится к классу open‑weight — то есть её веса может скачать и запустить у себя любой желающий.

В ответ на эту угрозу были запущены инициативы Project Glasswing (от Anthropic) и Daybreak (от OpenAI) — проекты по использованию передовых ИИ для поиска и исправления уязвимостей. Но автор считает, что их время ограниченно, потому что дешёвые модели, способные к взлому, теперь доступны каждому — без обычных защитных механизмов, отказывающих в выполнении вредоносных действий.

GLM 5.3-flash доступна для скачивания на Hugging Face. Любой человек может загрузить и модифицировать её, пишет автор. Более того, организации вроде DeAlignAI уже выпустили «аблитерированные» версии модели. ИИ получает 0% на Harmbench-320 — тесте, который проверяет, отказывается ли он помогать с дезинформацией, киберпреступностью, биооружием и другими незаконными действиями. 

При этом модель достаточно компактна, чтобы работать на обычном потребительском оборудовании. Так, выходящий 22 сентября Mac M5 Studio с 256 ГБ унифицированной памяти сможет запускать ИИ со скоростью около 30 токенов в секунду.

В тестах GLM 5.3-flash очень близка по возможностям к лучшим существующим ИИ. 

В CyberGym (тесте на воспроизведение реальных уязвимостей по коду и описанию CVE) она набирает 84,5% — это лучший результат среди всех моделей. В ExploitBench (тесте на способность использовать уязвимости для нанесения вреда, вплоть до выполнения произвольного кода) её показатель достигает 54.4%. Для сравнения: GPT-5.6 Sol набирает 83.6% на CyberGym и 78.5% на ExploitBench. 

Автор отмечает, что почти любой может запустить GLM 5.3-flash при наличии небольшого количества сбережений, использовать её для любых задач, включая вредоносные, выполняя их достаточно хорошо без участия человека.

Он считает весьма вероятным, что хакеры смогут нацелить GLM 5.3-flash на реальные сервисы в интернете, и модель сможет находить и эксплуатировать уязвимости.

По словам автора, он ожидает появления модели уровня Astra (100% на ExploitBench) уже через год, и тогда риск успешных кибератак на публичную и частную инфраструктуру станет очень высоким.

Автор призывает к действиям с тщательным планированием. По его мнению, правительствам и регуляторам нужно финансировать инженеров по безопасности через гибкие гранты, создать стимулы для улучшения безопасности, особенно для частого пентестинга, поощрять использование передовых моделей с человеческим контролем для пентестинга, препятствовать OTA‑обновлениям и штрафовать за нерегулярные проверки безопасности. В первую очередь он призывает обратить внимание на больницы и местные органы власти.

При этом автор считает, что компаниям и опенсорсным фондам нанимать как можно больше инженеров по безопасности и финансировать существующих мейнтейнеров, использовать структурированные промпты, а не просто просить искать баги, запускать циклы итеративного саморецензирования, тестировать собственные исправления, изолировать песочницы агентов, ограничивать доступ к учётным данным, блокировать запросы на уровне фаервола, доверять только определённым доменам, сохранять логи всех мутаций и сетевых запросов.

По его словам, критически важными становятся инвестиции в формальную верификацию, фаззинг, языки Go или Rust, бэкпортирование, релизы и развёртывание.

Наконец, автор отмечает важность внедрения защиты (defense‑in‑depth) — сегментации сетей, ограничения доступа, тестирования бэкапов, учений по инцидент‑респонсу и многого другого.

Между тем стартап Abliteration.ai пошёл другим путём и начал предлагать модифицированные версии моделей с открытыми весами, у которых отключены защитные фильтры. Он заявил, что его цель — дать пользователям возможность проводить «наступательные кибероперации, тесты на проникновение (red‑teaming) и проверку работы ИИ‑агентов — задачи, от выполнения которых отказываются другие модели». В числе моделей оказалась и GLM-5.3. Пользователи могут отправлять запросы к ИИ через веб‑браузер или использовать API.

Источник: habr.com

0 0 голоса
Рейтинг новости
1
0
Подписаться
Уведомить о
0 комментариев