Некоммерческая организация «Архив Интернета» развернула средства защиты онлайн‑библиотеки Wayback Machine от автоматизированных и вредоносных ботов, что стало приводить к блокировке и обычных пользователей, пытающихся получить доступ к ресурсу.
«Вот что происходит. Сервис Wayback Machine „Архива Интернета“ подвергся атакам большого объёма автоматизированного трафика, и мы приняли меры защиты, чтобы обеспечить бесперебойную работу сервиса», — написал директор Wayback Machine Марк Грэм.
Он добавил, что меры защиты в некоторых случаях могут затрагивать и реальных пользователей. «Архив Интернета» принёс извинения за случаи таких блокировок, пообещав сократить количество подобных ошибок.
Блокировка может произойти при получении ошибки 429 — HTTP‑кода состояния, который означает, что пользователь отправил слишком много запросов за определённый промежуток времени.
«Мы всё лучше отличаем ботов, использующих вредоносный контент, от тех, кто ежедневно пользуется сервисом Wayback Machine. Если вы считаете, что вас заблокировали по ошибке, отправьте электронное письмо на адрес info@archive.org, указав вашу операционную систему, браузер и IP‑адрес, и мы разберёмся в ситуации», — объяснил Грэм.
«Архив Интернета» пытается бороться с ботами, собирающими данные для обучения моделей искусственного интеллекта. В 2023 году организация вышла из строя после того, как столкнулась с «десятками тысяч запросов в секунду» от компании в сфере ИИ, которая хотела извлечь текстовые данные.
Осенью прошлого года основатель «Архива Интернета» Брюстер Кейл заявил, что библиотека теперь сохраняет контент, сгенерированный ИИ, в том числе ответы ChatGPT и сводки AI Overviews в поисковике Google.
Летом этого года региональные СМИ начали блокировать «Архива Интернета» из‑за опасений, что ИИ‑компании могут использовать данные из репозиториев организации для обучения языковых моделей. Число таких изданий достигло 340.
Источник: habr.com