Можно ли обмануть ИИ‑детектор: эксперименты с редактированием и переводом

Что осталось за кадром в прошлый раз?

В статье «О вузовских ИИ‑детекторах: что они могут, а чего нет. Неочевидные результаты собственного тестирования» я сделала вывод, что актуальные версии Думейта, Антиплагиата и GPTZero позволяют корректно определить автора текста, и предложила для этого более эффективный подход, основанный на оценке доли человеческого текста вместо доли ИИ. Однако на том этапе тестирования я использовала только исходные/первичные тексты, которые либо не подвергались никакой доработке (мои собственные тексты и их сгенерированные «близнецы»), либо тексты с неизвестным происхождением и детектированным смешанным авторством. Между тем в настоящее время остается все меньше и меньше студенческих работ, в написании которых ИИ не поучаствовал тем или иным способом — в качестве поисковика, генератора, переводчика или редактора.

Работы ИИ‑детекторам все прибавляется, а вместе с ней растет и количество претензий к оценкам детекторов, которые высказываются уже не только нерадивыми студентами, но и отличниками. Утверждается, в частности, что даже полностью человеческий текст детекторы могут оценивать как написанный с существенным участием ИИ. Особенно поразительна история студентки Кемеровского университета Ангелины, которая «вынуждена была 13 раз переписывать диплом», пока Антиплагиат не оценил его как авторский. К сожалению, все такие утверждения, как правило, голословны — очень бы хотелось проверить реальные случаи и понять, в чем именно может быть причина ложноположительных оценок ИИ.

Для удовлетворения этого любопытства я провела следующий этап тестирования сервисов Думейт и GPTZero (к сожалению, стоимость полноценного тестирования Антиплагиата превышает мои финансовые возможности).

Цель тестирования

• понять, какие из способов ИИ‑доработки текстов с разным происхождением способен обнаружить ИИ‑детектор,

• оценить возможный количественный «выигрыш» или «проигрыш» в ИИ‑доле/ИИ‑вероятности при применении разных способов доработки,

• понять, есть ли способ обмануть ИИ‑детектор с помощью ИИ‑чата.

Объекты. На этот раз я специально подготовила выдержки из текстов примерно одинакового размера (11 — 12 тыс. символов с пробелами), который позволяет получить оценки детекторов с высокой надежностью.

Тестировались 5 текстов: 1) текст, написанный мной в 2021 г. для заявки на получение гранта Фонда содействия инновациям, направление — биотехнологии, локальные очистные сооружения (ЛОС); 2) текст, сгенерированный чатом Claude (Anthropic) по той же тематике на основе моего технического задания с сохранением терминологии, применяемых технологий и объема (LOS); а также три текста, написанных студенткой филологического факультета одного из региональных университетов Б‑вой в разное время:

3) курсовая 2024 г., 4) курсовая 2025 г. и 5) ВКР 2026 г. Эти три работы, предоставленные мне научным руководителем студентки для настоящего тестирования, представляют особенный интерес, поскольку написаны одним и тем же человеком с сохранением особенностей его стилистики и ритмики.

Способы ИИ‑доработки текстов. Чаще всего в открытой печати предлагаются две технологии, якобы помогающие снизить уровень ИИ‑оценок, на них я и остановилась в рамках этого этапа:

1. ИИ‑редактирование исходника с помощью специально разработанных промптов, благодаря которым из текста удаляются различные признаки ИИ‑генерации при сохранении содержания. Разные варианты промптов можете посмотреть, например, здесь habr.com/ru/companies/kemp_ai/articles/1039690, habr.com/ru/publications/839468, habr.com/ru/companies/cloud_ru/articles/1031552. Основные правила написания подобных промптов очевидны: изменение ритма изложения (чередование предложений разной длины), изменение синтаксической структуры и пунктуации, замена стандартных терминов на менее употребляемые синонимичные конструкции. Не могу не отметить, что помимо этих принципов разные авторы «методичек по борьбе с ИИ» предлагают также намеренно вводить в текст опечатки и пробелы. Особенно интересным мне показался «универсальный» промпт, предлагаемый в статье «Промпт для генерации текста без ИИ следа», поскольку при написании самой статьи этот след остался — 58% AI по оценке GPTZero. Сапожник без сапог?

При тестировании возможностей ИИ‑редактирования я, в частности, применяла следующий промпт (А):

• Отредактируй текст, сохраняя его смысл, научный стиль, факты, цитаты и ссылки.

• Сделай ритм изложения менее равномерным. Чередуй короткие, средние и длинные предложения, иногда резко меняй их длину.

• Перестраивай порядок слов и частей предложений, используй разные синтаксические конструкции. Избегай однотипных начал, повторяющихся связок и слишком гладких переходов.

• Допускай менее привычные, но естественные для русского научного языка формулировки. Не вводи искусственно редкие слова и не добавляй новых утверждений.

• Сохрани приблизительный объём текста и заголовки.

2. ИИ‑переводы текста. В ходе тестирования использовались переводы с русского языка на английский (RU‑EN), с английского на русский (EN‑RU, для текста, сгенерированного на английском языке) и двойные переводы RU‑EN‑RU, при этом в промптах указывалась необходимость максимально точного перевода без изменения содержания и внесения новых смыслов. Двойной перевод русского на английский и обратно считается в сообществе одним из наиболее эффективных методов снижения ИИ‑оценок [ t‑j.ru/can‑you‑trick‑anitplagiat, avtor24.ru/articles/sovety_studentam/kak_projti_antiplagiat_diploma, zaochnik.ru/blog/13-dejstvennyx‑sposobov‑obojti‑antiplagiat‑i-3-prichiny‑etogo‑ne‑delat], впрочем, серьезных обоснований этому я не нашла.

Переводы текстов выполнялись с помощью чата Claude, редактура — с помощью чат‑бота ChatGPT. Детектирование выполнялось сервисами Думейт (версия не указана)  и GPTZero (AI Detection Model 4.1 m), отдельные прогоны проверялись на Антиплагиате (версия 1.8.2 от 06.11.2026). Все прогоны выполнены 5–9 ноября актуальными версиями детекторов.

Результаты тестирования и мои комментарии представлены ниже отдельными таблицами по каждому типу текстов. Напоминаю, что ИИ‑показатели разных детекторов имеют разный смысл и не позволяют провести корректное сравнение между ними.

Тестирование текстов, написанных человеком

Таблица 1. Протокол детектирования текста, написанного человеком, после применения ИИ-

Результаты проверок вузовскими ИИ‑детекторами «доработанного» человеческого текста подтверждают мой вывод о наибольшей устойчивости таких текстов к любым способам его доработки.

Антиплагиат и GPTZero оценивают даже доработанный разными способами текст как написанный человеком с абсолютной уверенностью — 0% ИИ. Однако Думейт неожиданно для меня показал ложноположительный результат 51,1% по ИИ‑доле после двойного перевода человеческого текста на английский и обратно. Этот факт заставил меня искать причину такого результата, мне удалось ее найти и «удалить», после чего Думейт показал кратно более низкие значения ИИ, близкие к 0% и свидетельствующие об авторстве человека.

Причина ложноположительных по ИИ‑доле оценок, получаемых этим российским детектором, нетривиальна, что заставляет меня посвятить ей отдельный материал.

Вывод 1: не используйте ИИ‑сервисы для «совершенствования» написанного вами текста — это может привести к ложноположительным оценкам ИИ‑присутствия. Пусть недостаточно гладким останется текст, зато у вас не будет проблем при вузовской проверке!

Тестирование текстов, сгенерированных машиной

Таблица 2. Протокол детектирования текста‑близнеца, сгенерированного ИИ‑чатом по ТЗ Тишиной Е., после применения ИИ‑редактирования и переводов.

Результаты проверок русскоязычным Думейтом исходного текста, сгенерированного на русском языке, а также всех текстов на русском языке, предварительно подвергшихся «доработке» (перевода английского исходника на русский, двойной перевод русского исходника) абсолютно адекватны, то есть текст продолжает оцениваться как генерация: снижение показателя ИИ от максимума составляет менее 2%. А вот оценить генерацию на английском тексте Думейт не может, выдавая ложноотрицательный результат 0% ИИ. Это свидетельствует о его пока еще слабой компетентности в детектировании английских текстов.

Что касается проверок на англоязычном GPTZero, то он демонстрирует полную корректность выводов для текстов на английском языке — 100% ИИ, и более низкое соответствие вероятности ИИ реальному уровню генерации на русских текстах. Вместе с тем вывод детектора относительно происхождения текста остается верным и в этом случае. Отмечу здесь, что самое большое снижение ИИ‑вероятности наблюдается при редактировании сгенерированного текста по промпту А — почти вдвое от исходника, на 38%.

Таким образом, никакие из тестируемых здесь способов «доработки» не помогают превратить ИИ‑генерацию в текст человека.

Вывод 2: не пытайтесь превратить сгенерированный текст в человеческий с помощью ИИ‑редактирования и промптов. Снижение уровня ИИ‑доли по Думейту для всех исследованных способов доработки составило менее 3 процентов.

Вывод 3: Каждый вузовский детектор показывает наибольшую чувствительность к текстам на «родном» языке. Совет экзаменаторам для случая, когда студент хочет писать и защищать диплом на английском языке — проверяйте его на GPTZero.

В качестве иллюстрации этого вывода привожу маленькую симметричную таблицу (Таблица 3), показывающую, насколько русский и английский детекторы чувствительны к машинным текстам на «родном» и «чужом» языках.

Таблица 3. Влияние базового языка ИИ‑детектора на оценки сгенерированных текстов и их переводов

Тестирование реальных/смешанных текстов

Таблица 4. Протокол детектирования реальных курсовых и ВКР студентки‑филолога, после применения ИИ‑редактирования и переводовСкриншоты результатов проверки Думейтом оригинальных работ Б‑вой за 2024, 2025 и 2026 гг.

Оценки, представленные выше, имеют особую ценность, поскольку здесь испытывались 3 текста, написанных в разное время одним и тем же человеком. В этом случае, скорее всего, стилистика и лексика текстов, а также ритмика изложения во всех текстах должны быть близкими. Таблица показывает, насколько увеличился объем использования студенткой ИИ‑текстов в течение последних трех лет — от 0% до 56% по оценке GPTZero и от 12,5 до 70% — по Думейту.

Мне неизвестно, применяла ли студентка ИИ‑сервисы в том или ином качестве для каждой из этих работ, но известно от научного руководителя, что она отличница и защитила все три работы на «5». Эта информация заставила меня сомневаться в реальности оценки в 70% ИИ, сделанной при проверке Думейтом ВКР 2026 г. И мне удалось доказать ошибочность этой оценки, обнаружив простой способ существенно снизить ИИ‑долю в этой работе, не меняя содержания. Об этом способе я подробно расскажу позже в материале, посвященном изучению причин ложноположительных результатов российских ИИ‑детекторов.

Таким образом, редактирование по промпту с целью снижения ИИ и двойной перевод вашего текста не помогут решить проблему, а лишь усугубят ее. Для всех трех текстов «доработка» увеличила долю ИИ‑текста, обнаруженную Думейтом, на 5–25%, кроме одного случая, когда уменьшение ИИ‑доли составило 3%.

Главный вывод: не пытайтесь сделать текст более человеческим с помощью машины. Пройти ИИ‑детектор без замечаний могут лишь честно выполненные и написанные самостоятельно работы.

Пишите сами!

Источник: habr.com