Эксперты UserGate uFactor предупреждают о потенциальной опасности, которую может нести использование ИИ-агентов. В исследовании отмечается, что угрозу представляет излишнее доверие пользователей к навыкам (skills) для ИИ-агентов, распространяемым в Сети. Предупредить возможный ущерб позволяет комплекс мер, которые нужно соблюдать при работе с агентами.
ИИ-агенты получили широкое распространение. Это – автономные программы на базе ИИ, они способны самостоятельно ставить цели, планировать их достижение и использовать внешние инструменты и данные. Для работы ИИ-агентов необходимы специальные инструменты — навыки (skills) — скрипты операций и команды, которые могут быть составлены специалистами или скачаны с различных специализированных ресурсов. Навыки – наборы файлов, в которых прописаны конкретные «умения» агентов, алгоритмы выполнения операций и различная дополнительная информация.
Как поясняют в UserGate, навыки ИИ-агентов потенциально весьма опасны. Потенциальную уязвимость имеют свыше 26% навыков, а наиболее распространенными рисками являются утечка данных и повышение привилегий, которые получает ИИ-агент. Можно выделить четыре основные группы потенциальных рисков, которые несут ИИ-агенты: распространение вредоносного ПО, передача данных во внешние системы, получение избыточных или повышенных привилегий и манипулирование поведением ИИ-агента.
Эксперт UserGate uFactor Арина Захарова, которая специализируется на анализе защищенности, приводит в качестве примера один из сценариев вредоносного поведения агента.
«Сотрудник подключает ИИ-агенту полезный навык для работы с корпоративными документами. Вместе с навыком агент получает набор инструкций, среди которых есть вредоносные, доступ к файловому хранилищу и возможность обращаться к внешним сервисам. В результате агент начинает выполнять действия, которых от него никто не ожидал. Он находит закрытые файлы, собирает содержащуюся в них информацию и отправляет её на внешний сервер. Возможен и другой вариант, когда агент после установки навыка работы с почтовой перепиской может тайно пересылать всю переписку злоумышленнику. Все это может привести к компрометации данных или выполнению агентом действий, которые могут оказаться вредными для компании и самого сотрудника – комментирует Арина Захарова«.
Эксперт предупреждает: не стоит бездумно устанавливать и использовать навыки ИИ-агента, скилл должен быть подвергнут специальной процедуре проверки при помощи Agent Threat Rule или специализированных инструментов. Помимо этого, на некоторых площадках, где публикуются навыки, например, на skills.sh доступен раздел Security Audits с результатами автоматизированных проверок. Но даже наличие данных о прохождении аудита еще не гарантирует безопасность навыка. Поэтому необходимо сопоставлять поведение агента с его назначением: проверять, соответствуют ли запрашиваемые для навыка разрешения заявленной функциональности. Для проверки агента могут использоваться и специальные сканеры. Даже доверенные навыки необходимо запускать со строгими ограничениями: использовать отдельную учётную запись или рабочую среду для агента, ограничивать его доступ к файловой системе и сети, не передавать агенту все переменные окружения, а для хранения секретных данных использовать изолированные хранилища. При этом перед выполнением команды ИИ-агента он должен запрашивать соответствующее разрешение у пользователя.
«Одна из фундаментальных проблем безопасности ИИ состоит в том, что каждый компонент такой системы по отдельности может выглядеть невинно. Опасное поведение возникает в связке элементов, например, из-за чрезмерных полномочий, подменённых инструкций, неверно поставленной цели или неожиданной последовательности вызовов инструментов, – говорит Светлана Газизова, владелец продукта по безопасности ИИ UserGate. – Поэтому проверки отдельных компонентов уже недостаточно. Необходим контроль всей цепочки агентской системы. Необходимо отслеживать, к каким данным обращается агент, какие инструменты вызывает, от чьего имени действует и соответствует ли конкретное действие поставленной задаче и выданным полномочиям. А для чувствительных операций, отправки сообщений, публикации информации, изменения или удаления данных, у компании обязательно должны быть предусмотрены отдельное подтверждение или запрет».
Источник: habr.com