Некоторое время назад компания Google реализовала на платформе YouTube систему автоматического дубляжа роликов на родной язык пользователя, чтобы повысить вовлечённость аудитории, ведь потреблять развлекательный или образовательный контент на понятном языке гораздо проще и приятнее. А теперь IT-гигант хочет выйти на совершенно иной уровень, задействовав собственную технологию на базе искусственного интеллекта, которая будет не только переводить речь на язык, понятный юзеру, но и синхронизировать движения губ людей в кадре, делая видео более привлекательными и аутентичными.
Буддика Коттахаччи, руководитель отдела автоматического дубляжа YouTube, в рамках интервью с изданием Digital Trends довольно подробно рассказал о новой технологии. Например, он сообщил, что новая система вносит сложные изменения на уровне пикселей, чтобы преобразовать рот спикера, обеспечивая более высокую реалистичность дубляжа ролика. Данная система работает на базе специального искусственного интеллекта, который способен распознавать тонкие нюансы строения лица человека, включая трёхмерное восприятие губ, зубов и различных выражений лица автора контента. И учитывая, что Google весьма неплохо продвинулась с моделью преобразования текста в видео Veo 3, можно предположить, что новая технология будет работать весьма успешно.
Правда, пока что у данной технологии есть определённые ограничения. Во-первых, система поддерживает синхронизацию губ исключительно в разрешении 1080p, а ролики в 4К-разрешении ИИ обрабатывать пока что не может. Точнее, скорее всего, на это просто нужно значительно больше ресурсов, и Google пока что не готова их выделять на функцию, которая на данный момент только разрабатывается. Во-вторых, липсинк поддерживается только на английском, немецком, французском, португальском и испанском языках, хотя в будущем компания планирует расширить поддержку до более чем 20 языков, которые сейчас поддерживаются функцией автоматического дубляжа на YouTube.
И, в-третьих, в Google пока что не готовы назвать конкретные сроки запуска этого нововведения. Но, скорее всего, новая функция будет запущена в рамках пилотного проекта с небольшой группой авторов — аналогично компания в своё время поступила с системой автоматического дубляжа. При этом, по информации Android Authority, функция липсинка может быть платной, хотя на данный момент не совсем ясно, как именно её будут монетизировать. Возможно, она будет доступна лишь владельцам Premium-подписки.
Источник: trashbox.ru