Новое исследование выявило серьезные проблемы с тем, как поисковые системы на базе искусственного интеллекта обрабатывают новостные цитаты, даже если у них есть официальные соглашения с издателями. В то время как почти 25% американцев теперь используют поисковые системы на основе AI вместо традиционных инструментов, согласно последним данным, эти системы часто не справляются с базовой атрибуцией источника. Исследование Центра цифровой журналистики Колумбийского университета Tow протестировало восемь поисковых систем на основе AI, включая ChatGPT, Perplexity и Google Gemini, попросив их определить заголовки, источники, даты публикации и URL-адреса из случайных новостных статей.
Результаты рисуют тревожную картину: более 60% запросов получили неправильные ответы. Perplexity оказался лучшим исполнителем с 37% ошибок, в то время как Grok 3 испытывал значительные трудности, неправильно атрибутировав 94% цитат.
Горизонтальная столбчатая диаграмма: эффективность различных инструментов генеративного поиска при определении исходной статьи и URL-адреса для текстовых фрагментов, с разбивкой по точности ответа.
Удивительно, но платные сервисы вроде Perplexity Pro и Grok 3 справились хуже, чем их бесплатные аналоги. Хотя они пытались ответить на большее количество запросов, они чаще предоставляли неверную информацию вместо того, чтобы признавать, что чего-то не знали.
График иллюстрирует показатели успешности различных инструментов генеративного поиска при правильной идентификации исходных статей и их метаданных.
Несколько систем также проигнорировали настройки протокола исключения роботов издателей. Например, Perplexity получила доступ к контенту National Geographic, несмотря на то, что издатель явно блокировал свои краулеры.
Доступ к контенту существенно различается в зависимости от поисковой системы и используемого метода.
Даже формальные партнерства между издателями и компаниями AI не решили проблемы атрибуции. Несмотря на соглашение Hearst с OpenAI, ChatGPT правильно идентифицировал только одну из десяти статей San Francisco Chronicle. Perplexity часто цитировал синдицированные версии статей Texas Tribune вместо оригиналов.
Исследование показало, что поисковые системы AI часто направляли пользователей на платформы синдикации, такие как Yahoo News, а не на оригинальные источники. В более чем половине случаев Grok 3 и Google Gemini создавали URL-адреса, которых не существовало.
Данные показывают, что формальные лицензионные соглашения не улучшили точность атрибуции контента.
Главный операционный директор журнала Time Марк Ховард отмечает, что компании, занимающиеся разработкой AI, работают над улучшением своих систем, но предостерегает от ожиданий идеальной точности от текущих бесплатных сервисов: «Если кто-то из потребителей сейчас верит, что любой из этих бесплатных продуктов будет на 100 процентов точным, то ему должно быть стыдно».
Отдельное исследование BBC, проведенное в феврале, выявило схожие проблемы с AI-помощниками, обрабатывающими новостные запросы, включая фактические ошибки и некачественный подбор источников.
Источник
Источник: habr.com
