Каждый раз, когда человек вбивает запрос в Google, система все чаще выдает не список сайтов, а готовый ответ — сформулированный искусственным интеллектом блок текста прямо вверху страницы. Google называет это AI Overviews и звучит удобно, но проблема состоит в огромном количестве ошибок, сообщает The New York Times.
Стартап Oumi по заказу NYT протестировал точность этих ответов через отраслевой тест SimpleQA — 4326 реальных запросов, два раунда. Осенью 2024-го система ошибалась в 15% случаев. После обновления до Gemini 3 стало лучше — 9% неверных ответов. Но Google обрабатывает свыше пяти триллионов запросов в год. Девять процентов от этого числа — миллион ошибок каждую минуту.
Исследователи отдельно считали «неподкрепленные» ответы: те, где ИИ ссылается на источник, который на самом деле не содержит нужной информации. С Gemini 2 таких было 37% от верных ответов, с Gemini 3 стало 56%. То есть даже когда Google прав, проверить это по его же ссылкам зачастую невозможно.
Среди самых частых источников AI Overviews — соцсеть Марка Цукерберга (второе место) и Reddit (четвертое). Когда система ошибается, она ссылается на Facebook* на 7% чаще, чем в случаях с верными ответами.
Конкретный пример: запрос о том, когда дом Боба Марли превратили в музей. Google ответил, что в 1987 году, а реальная дата открытия — 11 мая 1986-го. Один из источников — Википедия, которая сама себе противоречила и называла оба года сразу, а ИИ выбрал неверный вариант.
Бывает и еще более интересно, например, на вопрос о реке у западной границы города Голдсборо ИИ назвал реку Нус. Технически она есть в том районе, но западную границу города образует другая река — Литтл-Ривер, приток Нус. Google нашел верный источник и сделал из него неверный вывод.
Также бывает, что ИИ находит правильный сайт, читает его — и все равно отвечает неверно. На запрос о включении виолончелиста Йо-Йо Ма в Зал славы классической музыки система открыла страницу организации, где он числится среди 165 лауреатов. И написала, что никакого Зала славы классической музыки не существует.
Любой автор блога может написать пост, где объявит себя мировым экспертом в чем угодно. Google проиндексирует текст и воспримет его как факт. Журналист BBC проверил это на практике: опубликовал выдуманные итоги несуществующего чемпионата по поеданию хот-догов, и уже на следующий день Google выдавал его как победителя реального соревнования.
Google признает, что ошибки случаются, и под каждым AI Overview мелким шрифтом указано: «ИИ может ошибаться — проверяйте ответы». Компания также оспаривает методологию Oumi, указывая на изъяны в самом тесте SimpleQA.
Также ранее писали о феномене «зажаренных из-за ИИ мозгов». Подробности в статье.
* принадлежит Meta, компания признана в России экстремистской и запрещенной
Источник: hi-tech.mail.ru