Искусственный интеллект и его методы защиты откатывают отрасль кибербезопасности в 90-е годы. К таким выводам пришли ИБ-исследователи, которые представили свои доклады на конференции Black Hat.
Так, Ребекка Линч и Рич Харанг из Nvidia продемонстрировали внедрение вредоносных данных в ИИ-агентов в формате наподобие SQL-инъекций, только вместо кода в большую языковую модель поступают неверные данные. По словам Линч и Харанга, «отравление» входных данных может привести к неправильным размышлениям и ответам ИИ. Проблема в том, что ИИ собирает информацию из разных источников, что открывает множество возможностей для злоумышленников.
Для защиты исследователи ставят фильтры на разных этапах обработки данных, но такие меры не всегда эффективны. Как рассказал Тамир Ишай Шарбат из ИБ-компании Zenity, механизм защиты включает фильтры на входе и выходе, но между языковой моделью и её инструментами такого контроля нет. Это создаёт лазейки, которые позволяют получить важные данные с помощью промптов без взлома кода. Экспертам из Zenity удалось взломать Microsoft Copilot Studio, OpenAI ChatGPT, Google Gemini, Salesforce Einstein и Cursor, в некоторых случаях используя одну модель для атаки на другую.
По словам исследователей, многие компании очень серьёзно отнеслись к уязвимостям своих моделей. Microsoft исправила работу Copilot так, чтобы промпты, которые использовал Шарбат, больше не работали. Однако, по словам Шарбата, это не решит проблему: злоумышленники всегда могут придумать другие промпты, чтобы обойти блокировки.
По словам экспертов, ИИ заставляет разработчиков забывать об уроках, извлечённых за последние 25 лет, в стремлении максимально быстро внедрять технологии и получать прибыль.
«Агенты ИИ подобны младенцам. За ними нужно следить и следить, чтобы они не делали глупостей, — отмечает Венди Натер, директор по исследовательским инициативам в 1Password. — На рынок также выходит совершенно новое поколение людей, которые совершают те же глупые ошибки, что и мы много лет назад».
«Снова 90-е», — подтвердил соучредитель и технический директор Zenity Майкл Баргури.
Как считают исследователи, главный урок для компаний, которые разрабатывают и используют ИИ, очень прост: необходимо заблаговременно проводить внутренние атаки на свои системы, чтобы выявлять уязвимости до того, как это сделают злоумышленники.
Натан Хамиел из Kudelsky Security отметил, что есть и другая проблема: человечество предоставляет ИИ доступ ко всему подряд, а разработчики создают и используют слишком универсальные модели.
«Тот же ИИ, который отвечает на вопросы о Шекспире, помогает вам разрабатывать код. Это чрезмерное обобщение приводит к увеличению поверхности атаки», — указывает Хамиел. Вместо этого, по его словам, нужно разрабатывать специализированные ИИ, ориентированные на конкретные проблемы.
Кроме того, пользователям нужно изменить их собственное отношение к ИИ и осознать, что нейросети недостаточно умны для решения мировых проблем, это всего лишь инструменты.
«Не относитесь к агентам ИИ как к высокотехнологичным, сверхразумным системам. Относитесь к ним как к пьяным роботам», — заключил Хамиел.
Источник: habr.com