VK сообщила о внедрении в продукты холдинга технологии глубокого понимания контента Discovery. В компании пояснили, что мультимодальная языковая модель (MMLM) интерпретирует сюжеты, кросс‑форматная контентная модель понимает смысл контента, а рекомендательная система автоматически распознаёт персонажей на видео. Помимо «VK Видео» и внутренних задач поиска и аналитики, технологии ИИ будут использоваться в других продуктах VK с пользовательским (UGC) контентом — от коротких видео до музыки.
Также кросс‑форматная контентная модель анализирует название, обложку, аудио и видеоряд ролика по отдельности. Нейросеть VK объединяет все данные в едином пространстве, что позволяет рекомендательной системе понимать смысл контента и объединять разные форматы. Например, такая модель может предложить похожий по смыслу ролик в «VK Видео» на основе понравившегося текстового сообщения «ВКонтакте» или короткого видео в «VK Клипах», что делает рекомендации кросс‑платформенными.
В VK добавили, что мультимодальная языковая модель сравнивает контент по смыслу и тематике, объясняет комментарии, описывает интересы пользователя к конкретным сценам и учитывает эмоциональный тон материалов. Нейросеть VK обучена более чем на трёх миллионах русскоязычных материалов и может анализировать видео, изображения, тексты и аудио. С ней рекомендательные алгоритмы быстрее показывают новый контент в продуктах VK без необходимости получения первых пользовательских реакций.
Рекомендательная система VK на базе ИИ автоматически распознает известных персон на видео, что позволяет алгоритмам учитывать как тематики контента, так и присутствие в роликах конкретных популярных личностей. Технология VK построена на двух моделях машинного обучения: одна анализирует видеоряд с частотой один кадр в секунду, а вторая определяет на кадрах лица и формирует единый «образ» героя.
«Мы создаём технологии, которые выдерживают высокую нагрузку и при этом легко адаптируются под специфику разных продуктов VK. Они помогают анализировать не только поведение пользователей, но и понимать смысл контента, а значит, продукты становятся ещё более персонализированными. Новые технологии Discovery за первые месяцы после внедрения помогли увеличить число позитивных реакций на контент на 7%, а рекомендации похожих по смыслу видео стали на 60% точнее», — пояснил руководитель направления рекомендаций AI VK Андрей Зимовнов.
Ранее платформа «VK Видео» представила обновлённый кабинет автора с улучшенными инструментами для работы с контентом и анализа аудитории. В сервисе пояснили, что управление каналом для авторов стало ещё проще, а аналитика начала охватывать больше данных и стала нагляднее.
Источник: habr.com