Компания «Яндекс» заявила, что нейросеть «Алиса» в «Яндекс Браузере» начала понимать изображения в интернете, и создавать их описания. По словам компании, благодаря этому незрячие и слабовидящие пользователи смогут воспринимать визуальный контент, например, иллюстрации в статьях, фотографии товаров в интернет‑магазинах или изображения в соцсетях.
В основе новой функции лежит нейросетевая мультимодальная модель, способная анализировать и тексты, и картинки. Модель не просто распознаёт отдельные объекты, а воспринимает изображение целиком и понимает взаимосвязь между элементами, учитывает их контекст и смысл.
Чтобы получить описание, надо выбрать опцию «Описать картинку» в контекстном меню или на панели поверх картинки — либо навести на изображение фокус программы экранного доступа. В «Яндекс Браузере» для Windows, iOS и Android Алиса может составить и озвучить описание. Управлять функцией можно в настройках «Браузера», в разделе «Специальные возможности». Если включена программа экранного доступа, Алиса создаст описания только для тех картинок, на которые пользователь может нацелить фокус.
Источник: habr.com