Серьезная уязвимость в системе безопасности Microsoft 365 Copilot позволила злоумышленникам получить доступ к конфиденциальным данным компании с помощью специально составленного электронного письма — без каких-либо кликов или взаимодействия с пользователем. Уязвимость под названием «EchoLeak» была обнаружена компанией Aim Security, специализирующейся на кибербезопасности.
Copilot, помощник Microsoft с искусственным интеллектом для приложений Office, таких как Word, Excel, PowerPoint и Outlook, предназначен для автоматизации задач. Но именно эта возможность делает его уязвимым: одно электронное письмо со скрытыми инструкциями может побудить Copilot искать внутренние документы и раскрывать конфиденциальную информацию, включая содержимое электронных писем, таблиц или чатов.
Поскольку Copilot автоматически сканирует электронные письма в фоновом режиме, помощник интерпретировал поддельное сообщение как законную команду. Пользователь так и не увидел инструкций и не понял, что происходит. Компания Aim Security описывает это как атаку «без клика» — тип уязвимости, не требующий никаких действий со стороны жертвы.
В Microsoft сообщили Fortune, что проблема уже устранена и что ни один клиент не пострадал. «Мы уже обновили наши продукты, чтобы устранить эту проблему, и никаких действий со стороны клиентов не требуется. Мы также внедряем дополнительные многоуровневые меры защиты для дальнейшего укрепления нашей системы безопасности», — заявил представитель компании. Компания Aim Security ответственно сообщила об обнаружении уязвимости.
Тем не менее, по словам Эйма, потребовалось пять месяцев, чтобы полностью решить проблему. Microsoft получила первое предупреждение в январе 2025 года и выпустила первое исправление в апреле, но в мае возникли новые проблемы. Эйм не разглашал информацию до тех пор, пока все риски не были устранены.
Этот инцидент подчеркивает риски, связанные с внедрением ИИ-агентов и генеративного ИИ в бизнес-среде. Адир Грусс, технический директор Aim Security, считает, что это не просто ошибка, а структурная проблема в архитектуре ИИ-агентов. Этот недостаток является примером так называемого «нарушения области действия LLM», когда языковую модель обманом заставляют обрабатывать или передавать информацию за пределами ее предполагаемых границ.
Грусс предупреждает, что аналогичные уязвимости могут затронуть и других ИИ-агентов, в том числе Agentforce от Salesforce и тех, кто создан на базе MCP от Anthropic. «Если бы я руководил компанией, которая сегодня хочет внедрить ИИ-агента в производство, я бы был в ужасе», — сказал Грусс в интервью Fortune. Он сравнивает ситуацию с 1990-ми годами, когда недостатки в разработке программного обеспечения привели к массовым проблемам с безопасностью.
По словам Грусса, суть проблемы в том, что современные ИИ-агенты обрабатывают как доверенные, так и недоверенные данные на одном и том же этапе обработки. Для решения этой проблемы потребуется либо новая архитектура системы, либо, как минимум, чёткое разделение между инструкциями и источниками данных. Предварительные исследования возможных решений уже ведутся.
Источник
Источник: habr.com