Канадец загуглил смерть Халка Хогана и получил ответ, что рестлер жив. А прямо под этим текстом висела ссылка на статью о его гибели.
Каждый раз, когда человек вбивает запрос в Google, система все чаще выдает не список сайтов, а готовый ответ — сформулированный искусственным интеллектом блок текста прямо вверху страницы. Google называет это AI Overviews и звучит удобно, но проблема состоит в огромном количестве ошибок, сообщает The New York Times.
Стартап Oumi по заказу NYT протестировал точность этих ответов через отраслевой тест SimpleQA — 4326 реальных запросов, два раунда. Осенью 2024-го система ошибалась в 15% случаев. После обновления до Gemini 3 стало лучше — 9% неверных ответов. Но Google обрабатывает свыше пяти триллионов запросов в год. Девять процентов от этого числа — миллион ошибок каждую минуту.
Исследователи отдельно считали «неподкрепленные» ответы: те, где ИИ ссылается на источник, который на самом деле не содержит нужной информации. С Gemini 2 таких было 37% от верных ответов, с Gemini 3 стало 56%. То есть даже когда Google прав, проверить это по его же ссылкам зачастую невозможно.
Среди самых частых источников AI Overviews — соцсеть Марка Цукерберга (второе место) и Reddit (четвертое). Когда система ошибается, она ссылается на Facebook* на 7% чаще, чем в случаях с верными ответами.
Источник: hi-tech.mail.ru