Изображение: Shutterstock / Lightspring
Cloudflare запускает функцию блокировки поисковых роботов ИИ-стартапов. Американская компания, работающая над защитой от DDoS-атак и безопасным доступом к интернет-ресурсам, представила новую функцию. Программное обеспечение не позволяет разработчикам ИИ копировать контент в Интернете.
ПО компании может обнаруживать ботов, которые копируют контент для учебных проектов LLM, даже когда они пытаются скрыть свое присутствие. Для обнаружения попыток автоматизированного извлечения контента ботами используется генеративный интеллект.
Одним из поисковых роботов, которые удалось обнаружить Cloudflare, является бот, который собирает контент для Perplexity AI, стартапа поисковой системы. Способ, которым бот копирует веб-сайты, заставляет его запросы выглядеть как обычный пользовательский трафик. Как бы администраторы веб-сайтов ни пытались запретить использование своего контента, бот неизменно собирал данные для своих целей. Однако, теперь ситуация изменилась.
Искусственный интеллект от Cloudflare присваивает каждому визитеру веб-сайта оценку от 1 до 99. Чем ниже число, тем больше вероятность того, что запрос был сгенерирован ботом. Запросы, сделанные ботом, обычно получают оценку ниже 30.
Источник: www.it-world.ru