Согласно отчету The New York Times, тестирование показало, что встроенные в поиск Google сводки от искусственного интеллекта содержат ложную информацию примерно в 1 из 10 случаев. Учитывая, что поисковая система обрабатывает около 5 трлн запросов за год, пользователи могут сталкиваться с 57 млн неточных ответов каждый час и почти с 1 млн в минуту.
Данные были получены стартапом Oumi, который по просьбе издания оценил точность нейросети Gemini с помощью популярного бенчмарка SimpleQA. Проанализировав 4326 поисковых запросов, исследователи выяснили, что в октябре Gemini 2 давал точные ответы в 85 процентах случаев. К февралю версия Gemini 3 улучшила этот показатель до 91 процента.
Представители Google назвали результаты тестирования Oumi ошибочными. Они заявили, что такой подход не отражает реальное поведение пользователей в поиске. Внутренние тесты компании показывают, что Gemini 3 при автономной работе без поисковой системы галлюцинирует в 28 процентах случаев.
Работа с источниками представляет следующую проблему. Google пытается подкреплять ответы искусственного интеллекта релевантными ссылками, но эти источники часто не подтверждают утверждения Gemini. В некоторых случаях за неверным обзором сразу следует ссылка с правильной информацией, а иногда точный ответ ссылается на источник с ошибочными данными. Расхождения между ответами и их источниками увеличились после февральского обновления, поднявшись с 37 процентов в Gemini 2 до 56 процентов в Gemini 3.
Исследователи также обнаружили, что сводки искусственного интеллекта подвержены манипуляциям. В качестве примера приводится инцидент, когда журналист BBC опубликовал в блоге ложную информацию, а на следующий день Google повторил эти утверждения в своей выдаче. Крупные технологические компании открыто признают эту проблему мелким шрифтом. В условиях использования Copilot от Microsoft указано, что инструмент предназначен для развлекательных целей, Google советует перепроверять информацию, а xAI предупреждает о возможных галлюцинациях.
Источник: www.playground.ru