Некоторое время назад платформа GitHub запустила инструмент Agentic Workflows, который объединяет GitHub Actions (систему автоматизации для выполнения задач в ответ на события в репозитории) и агента искусственного интеллекта, поддерживающего Claude или GitHub Copilot. Данный инструмент предоставляет разработчикам возможность прописывать свои рабочие процессы, после чего агентский ИИ читает полученные задачи, вызывает необходимые инструменты и выполняет работу вместо пользователя. И исследователи из Noma Labs обнаружили серьёзную уязвимость в данной функции, которая, теоретически, может нанести существенный урон многим компаниям. Telegram-канал создателя Трешбокса про технологии
Дело, как это часто бывает с ИИ-агентами, заключается в подходе Indirect Prompt Injection — непрямой инъекции вредоносного промта. Проблема в том, что ИИ-агент, который работает на платформе GitHub, зачастую не умеет чётко различать системные команды или задачи, направленные владельцем репозитория, от обычного текста, написанного сторонними пользователями. Это распространённая проблема и затрагивает она, конечно же, не только GitHub, но и другие проекты. И хотя разработчики платформы поработали над системой защиты, исследователям удалось её довольно легко обойти.
Энтузиасты заявили, что им удалось обойти встроенные механизмы защиты GitHub при помощи весьма простых лингвистических уловок — например, использования слова Additionally в текстовом промпте. Очевидно, эта уловка заставляла систему защиты ИИ-агента запутаться в свои же внутренних правилах и проигнорировать запреты. Соответственно, исследователям нужно лишь создать тикет в публичном репозитории какой-то компании, написать совершенно обычный текст, а затем добавить в него промпт-инъекцию. ИИ-агент читал это сообщение и автоматически приступал к выполнению работы, а затем путался, забывал о системе защиты и мог, например, опубликовать в комментариях к тикету файл из приватного репозитория. Изображение: Noma Labs
Естественно, представители Noma Labs опубликовали новость и детали о данной уязвимости после того, как сначала сообщили об этой проблеме разработчикам GitHub. Скорее всего, представители платформы уже улучшили или занимаются улучшением встроенных систем защиты, но разработчикам и компаниям явно стоит уделить этому вопросу внимание, так как если есть такая уловка, то, вероятнее всего, найдутся и другие, о которых пока что никто не знает.
Источник: trashbox.ru