Новейшая модель изображений OpenAI позволяет создавать убедительные поддельные документы за считанные секунды, потенциально подавляя существующие системы безопасности, предоставляя любому человеку доступ к сложным инструментам подделки.
Пользователь X «God of Prompt» поделился несколькими примерами, демонстрирующими возможности модели, показав, как GPT-4o может генерировать обманчиво реалистичные фотографии отмененных рейсов, банковских переводов, университетских дипломов или медицинских рецептов.
Сгенерированный поддельный документ об отмене рейса.
Хотя подделка документов всегда была возможна с использованием традиционного программного обеспечения для редактирования изображений, автоматизация AI кардинально меняет ситуацию. Вместо того, чтобы тратить часы на экспертную работу, теперь любой может создать убедительные поддельные документы за считанные секунды.
Сгенерированная искусственным интеллектом медицинская справка, показывающая симптомы болезни
Потенциальный объем подделок, созданных AI, может перегрузить существующие системы проверки. Это становится особенно тревожным в ситуациях, когда организации выполняют только поверхностные проверки, такие как небольшие претензии на компенсацию, истории арендных платежей или первоначальные проверки заявлений о приеме на работу.
Текущие механизмы контроля в компаниях и государственных учреждениях могут дать сбой из-за огромного количества потенциальных подделок. Даже при постоянных показателях обнаружения, возросшее количество поддельных документов повышает вероятность того, что некоторые из них избегут обнаружения.
Сгенерированный чек от «The Decoder Bar» демонстрирует, как легко можно подделать доказательство оплаты
OpenAI встроил несколько функций безопасности для предотвращения несанкционированного использования. Каждое изображение, созданное GPT-4o, поставляется со специальными метаданными C2PA, которые отмечают его как сгенерированное AI. Загвоздка в том, что любой, кто проверяет эти изображения, должен использовать специальный инструмент проверки, чтобы обнаружить эти метаданные. Кроме того, опытные пользователи могут найти способы удалить эти цифровые маркеры.
Скриншот, показывающий, как специализированные инструменты могут считывать метаданные C2PA для проверки происхождения изображения
По словам представителей OpenAI, для облегчения проверки компания также разработала собственный внутренний инструмент для отслеживания того, были ли изображения созданы с помощью GPT-4o, хотя неясно, кто, когда и для чего использует этот инструмент.
В своей системной карте GPT-4o компания OpenAI заявляет, что ее цель — «максимизировать полезность и творческую свободу для наших пользователей, одновременно сводя к минимуму вред». Компания признает, что безопасность остается непрерывным процессом, а рекомендации развиваются на основе реального использования.
Источник
Источник: habr.com
