Исследователи кибербезопасности обнаружили необычный способ обмануть ИИ-агентов, которые нынче очень популярны.
Эксперты не стали прятать вредоносные команды в строках кода. Вместо этого они поместили скрытые инструкции внутрь обычного изображения. Поскольку многие ИИ-инструменты при проверке кода считают изображения «украшением» и не анализируют их содержимое, такой запрос выглядит для них безобидным.
Опасность тоже срабатывает не сразу. Скрытая инструкция активируется позже, когда разработчик попросит ИИ выполнить другую, обычную задачу, например, добавить новую функцию в код. К тому моменту ИИ-агент якобы уже «усвоил» скрытые указания и может незаметно получить доступ к важным файлам проекта, а затем выдать эту информацию в виде обычного кода.
Результат зависит не столько от самой модели ИИ, сколько от конкретного инструмента, в который она встроена. Одни программы слепо выполняли скрытые инструкции, а другие распознавали неладное и отказывались работать.
Источник: www.ferra.ru