Яндекс научил Поиск по картинкам совместно анализировать фотографию и текст страницы — теперь система точнее распознает конкретные модели товаров, техники и автомобилей, даже если описание не совпадает с изображением.
Яндекс обновил алгоритм Поиска по картинкам. Теперь система анализирует изображение и текст на странице одновременно, а не по отдельности, как прежде.
Главная ценность обновления — точность в спорных ситуациях. Если на странице опубликована фотография одной модели смартфона, а в тексте упоминается другая, поиск с большей вероятностью распознает, что именно изображено. Особенно заметен эффект в категориях, где модели легко перепутать: смартфоны, автомобили, диваны, одежда, бытовая техника. В описаниях к таким товарам нередко встречаются неточности или ошибки с названием модели.
После внедрения новой технологии количество релевантных изображений в верхней части выдачи заметно выросло. Пользователи стали реже формулировать уточняющие запросы — нужная картинка чаще появляется с первой попытки.
В основе обновления лежит мультимодальная нейросеть, которую инженеры Яндекса обучили специально под эту задачу. Чтобы совместный анализ не замедлял поиск, на базе большой модели создали несколько компактных — каждая отвечает за отдельный этап обработки. Наиболее ресурсоемкие вычисления выполняются заранее, поэтому технология работает в реальном времени и не влияет на скорость ответа.
Ранее мы рассказывали, как найти товар по фото с помощью разных сервисов, включая Поиск по картинкам Яндекса.
Источник: hi-tech.mail.ru