Reddit сделал акцент на блокировке несанкционированного доступа ботов к своим публичным данным. Так, доступ большинства ботов будет ограничен, если они не заключат лицензионное соглашение, аналогичное соглашениям, заключенным с Google и OpenAI для обучения моделей и других коммерческих целей.
Хотя эта политика не нова, Reddit вводит ее в действие путем обновления файла robots.txt — важного компонента веб-инфраструктуры. Бен Ли, главный юрист Reddit, подчеркивает, что обновленный файл сигнализирует о том, что без соглашения доступ к данным Reddit запрещен.
Это изменение связано с развивающимся цифровым ландшафтом, в котором компании, работающие в области искусственного интеллекта, потребляют огромные объемы онлайн-данных для обучения своих моделей, выходя за рамки традиционных поисковых систем.
И очень часто они делают это незаметно, чтобы владельцы сайтов не подали на них в суд.
Источник: www.ferra.ru