Кибербезопасность стремительно меняется, и теперь главная угроза приходит не только от людей, но и от искусственного интеллекта (ИИ). Все чаще киберпреступники используют генеративные модели для атак. Владимир Мазин, исследователь научной группы «Доверенные и безопасные интеллектуальные системы» Института AIRI рассказал, что уже в ближайшие годы противостояние в цифровом мире может превратиться в «битву» двух ИИ — атакующего и защищающего.
Тактическое преимущество будет у обороняющихся ИИ, поскольку они оперируют во внутренней сети с легитимным доступом к телеметрии и могут развертывать сложные ансамбли моделей для детектирования аномалий.
Однако, по словам Мазина, стратегическая угроза сохраняется: атакующему ИИ достаточно найти всего одну уязвимость, тогда как защита должна отразить все возможные сценарии атак.
Еще один вызов связан с тем, что работа ИИ не всегда понятна даже его создателям. Возникает вопрос доверия к системе, которая самостоятельно принимает решения о блокировке угроз. По словам Мазина, ключ к решению этой проблемы — в развитии объяснимого искусственного интеллекта, когда система способна объяснять свои действия. Он отметил, что архитектура будущих систем безопасности будет строиться по принципу «human-in-the-loop» — человек останется последним звеном, принимающим финальное решение.
Отдельное внимание уделяется концепции персонального «цифрового телохранителя». Идея заключается в создании простого и понятного помощника, который возьмет на себя управление паролями, настройками приватности и предупреждениями об опасностях.
Концепция персонального «цифрового телохранителя» реализуется через создание контекстно-зависимых систем безопасности на базе ИИ.
Такие системы будут анализировать поведение пользователя и выдавать рекомендации в удобной форме, используя обработку естественного языка и биометрию.
Появление ИИ также создало новый класс угроз. Среди них — «инженерия промптов», манипуляции с обучающими данными и атаки на сами модели. К 2026 году главной проблемой могут стать состязательные атаки на компьютерное зрение и уязвимости в цепочках поставок машинного обучения.
Наибольшую опасность будут представлять атаки на цепочки поставок ML-моделей, когда компрометация лишь одного из этапов приведет к уязвимости во всех развернутых экземплярах.
Кроме того, ИИ требует огромных объемов данных, включая личную информацию пользователей, что поднимает вопрос о границе между безопасностью и приватностью. По словам исследователя, такие данные должны собираться с учетом принципов минимизации и анонимизации, а обучение моделей — проводиться с помощью федеративного подхода, где информация не передается напрямую.
Мазин также отметил, что ИИ станет важным инструментом в создании криптографии, устойчивой к будущим квантовым компьютерам. Алгоритмы машинного обучения смогут тестировать и усиливать новые шифры, предотвращая угрозу «квантового взлома».
При этом искусственный интеллект не заменит специалистов по кибербезопасности, а изменит их роль. Люди будут заниматься управлением жизненным циклом моделей, расследованием сложных инцидентов и этическим контролем за действиями автономных систем.
Источник: www.ferra.ru