Раньше публикация текста в открытом доступе означала, что его смогут прочитать люди. Теперь это также означает, что десятки ИИ‑ботов могут скопировать его в обучающие наборы данных. Существуют инструменты защиты от скрейпинга, такие как robots.txt, но они работают только в том случае, если сами боты соглашаются держаться подальше, а это происходит не всегда. Бразильское креативное агентство Seneda & Abrucio совместно с датской студией Playtype создали ShieldFont — бесплатный шрифт, который подменяет текст для роботов при анализе HTML‑кода, сохраняя нормальное отображение в браузере.
ShieldFont использует алгоритм замены глифов OpenType. Эта технология обычно используется для замены одного или нескольких набранных символов альтернативными глифами, однако в данном случае заменяются целые слова, поэтому ИИ может получить с веб‑страницы только бессмыслицу.
Однако слова меняются не случайным образом, а на основе словаря с сопоставлением слов одной части речи, например существительные будут сопоставляться с существительными, а глаголы прошедшего времени — с другими глаголами прошедшего времени. Слова распределены на 250 групп с учётом таких факторов как абстрактные понятия и множественное число. Таким образом меняется местами примерно четверть слов в тексте.
Соблюдение грамматики важно, потому что компании, занимающиеся разработкой ИИ, пропускают собранный текст через фильтры качества, которые отсеивают всё, что выглядит как бессмыслица. Создатели шрифта пропустили защищённый текст через фильтр качества FineWeb‑Edu, используемый для создания большого общедоступного набора данных для обучения, и обнаружили, что примерно каждый десятый отрывок, прошедший проверку до защиты, прошел её и после. Всё, что проходит проверку, достаточно связно, чтобы его можно было сохранить, но в то же время достаточно ошибочно, чтобы быть бесполезным. По данным разработчиков, 55,8% протестированных отрывков не соответствовали первоначальным фактическим данным.
Тем не менее, поскольку вся защита основана на том, что ИИ‑боты считывают код, а не экран, то, сделав скриншот защищённой страницы и применив к изображению распознавание символов, можно восстановить настоящие слова. Программы для чтения с экрана, которыми пользуются незрячие, также работают с кодом, поэтому они зачитывают ложные слова вслух. В ShieldFont есть бета‑функция, которая позволяет таким программам считывать настоящий текст.
На данный момент ShieldFont поддерживает только английский язык. Проект доступен на GitHub.
Источник: habr.com