Исследователи продемонстрировали новый вид атаки, который позволяет с помощью генеративных ИИ-сервисов запускать процесс самовоспроизведения сетевого червя. В эксперименте использовали почтовый клиент на базе языковых моделей, который и стал причиной массового распространения зловреда в лабораторных условиях.
Для эксперимента исследователи разработали службу обмена электронными письмами, к которой подключили языковые модели ChatGPT, Gemini и LlaMA. Приложение использовало нейросети для автоматизированного процесса получения и отправки писем. После этого провели два вида атак.
В первом случае на электронный адрес жертвы отправляется письмо с вредоносной командой, которая заставляет языковую модель перейти по ссылке и найти там ответ. На сайте находится другая команда, которая запускает процесс похищения личных данных пользователя и отправку копии письма всем его контактам. Далее этот же алгоритм повторяется на других устройствах. Таким образом сетевой червь самостоятельно распространяет себя. Во время второй атаки исследователи отправляли изображение, которое содержало вредоносную команду.
По оценкам экспертов, с помощью таких сетевых червей злоумышленники могут похищать данные пользователя, распространять от его имени опасные материалы и запускать процесс самопроизводства. Остановить его очень сложно, так как количество источников заражения очень быстро увеличивается.
Исследователи отмечают, что такой тип атак возможен из-за ошибок, совершённых во время проектирования архитектуры в приложениях на базе больших языковых моделей. Для избежания подобного нельзя давать нейросетям доступ к таким важным функциям, как отправка чего-либо от имени пользователя. Вместо этого модель машинного обучения должна предупреждать о своих действиях и дожидаться подтверждения.
Об ошибке и атаках на её базе сообщили представителям OpenAI и Google. В первой компании подтвердили наличие уязвимости и рассказали, что уже работают над улучшением устойчивости нейросети к подобным атакам. В Google не стали комментировать запрос исследователей.
Источник: habr.com
Похожие новости:
Исследование: цензуру языковых моделей можно обойти с помощью ASCII-арта
Словили звезду: вымогатели из группы Shadow атакуют российские компании уже под новым именем — DARKSTAR
Обзор IT-Weekly: GigaChat сдал экзамен на врача, Nvidia приближается по уровню капитализации к Amazon
В 2023 году больше всего выросло количество DDoS-атак на российские телеком-сферу, транспортный и государственный секторы