Киберугрозы проще обнаружить, если злоумышленники применяют ChatGPT. К такому необычному выводу пришли исследователи OpenAI. По их словам, промпты для ChatGPT не только раскрывают, на какие платформы нацелены злоумышленники, но и позволяют раскрыть новые инструменты, которые используются для преступной деятельности в сети.
OpenAI опубликовала свой 50-страничный отчёт на фоне повышенного внимания к её инструментам перед президентскими выборами в США. Чиновники по всему миру опасаются, что злоумышленники будут применять искусственный интеллект для более широкого распространения дезинформации и пропаганды.
Отчёт описывает 20 эпизодов, когда OpenAI прервала манипуляции с использованием ИИ для разжигания ненависти или взлома уязвимых систем.
В компании пояснили, что подобные случаи позволяют OpenAI выявлять наиболее распространённые способы, с помощью которых злоумышленники применяют ИИ для повышения своей эффективности или производительности.
В одном из эпизодов связанная с Китаем хакерская группировка SweetSpecter попыталась провести фишинговую кампанию против государственных служащих и сотрудников OpenAI, используя подсказки для ChatGPT. В письме к работникам компании злоумышленники выдавали себя за пользователя чат-бота, устраняющего неполадки с платформой. В электронном письме было вложение, которое содержало вредоносное ПО для Windows, известное как SugarGh0st RAT.
Софт позволил бы SweetSpecter получить контроль над скомпрометированным компьютером, запускать команды, делать скриншоты экрана и извлекать данные. Однако спам-фильтр OpenAI отразил угрозу, поэтому ни один сотрудник компании не получил письма от злоумышленников.
В OpenAI полагают, что им удалось раскрыть первую известную атаку SweetSpecter на американскую компанию, занимающуюся разработкой ИИ, после мониторинга запросов в ChatGPT. Подсказки содержали просьбы подсказать темы, которые могли бы заинтересовать сотрудников государственных ведомств, или подходящие названия для вложений, чтобы их пропустили спам-фильтры.
Кроме того, SweetSpecter интересовалась у чат-бота уязвимостями различных приложений и просила помощи в поиске способов использования инфраструктуры, принадлежащей известному автопроизводителю.
В другом случае предположительно связанная с Ираном группировка CyberAv3ngers использовала ChatGPT для исследований, разведки и отладки кода. Промпты помогли OpenAI «выявить дополнительне технологии и ПО», которые злоумышленники попытаются применить для нарушения работы систем водоснабжения, энергетики и производства. CyberAv3ngers известна атаками на инфраструктуру США, Ирландии и Израиля.
OpenAI также сообщила о похожих результатах после пресечения деятельности группы Storm-0817, которая также связана с Ираном. Злоумышленники использовали ChatGPT для отладки вредоносного ПО, создания скрапера Instagram**, перевода профилей LinkedIn на фарси и разработки собственного вредоносного ПО.
ChatGPT был не единственным инструментом OpenAI, которым злоупотребляли хакеры. Генератор изображений компании DALL-E также применяли для российской операции под названием Stop News. Однако полученные изображения не помогли злоумышленникам сделать эту кампанию вирусной, поделились в OpenAI.
Несмотря на подробность отчёта, OpenAI преуменьшает возможности ИИ наносить вред, считают в Ars Technica. В документе компания не гарантирует, что её модели не предоставляют злоумышленникам новые возможности, недоступные на других ресурсах в сети.
Meta Platforms*, а также принадлежащие ей социальные сети Facebook** и Instagram**:*признана экстремистской организацией, её деятельность в России запрещена;**запрещены в России.
Источник: habr.com
Похожие новости:
OpenAI: злоумышленники используют ChatGPT для создания вредоносного ПО
Reuters: OpenAI станет коммерческой организацией, её глава Сэм Альтман получит долю в компании
Альтман полностью восстановлен в Совете директоров OpenAI после увольнения 17 ноября и возвращения 22 ноября 2023 года
OpenAI представила «холст» для взаимодействия с ChatGPT