Теперь можно обучать ИИ на своих видеозаписях и управлять действиями персонажей прямо в ролике. Разработчики объяснили, зачем это нужно.
Нейросеть для создания видео на основе текстовых запросов Kling выпустила масштабное обновление, которое открывает пользователям новые возможности. Теперь любой желающий может создать уникального персонажа для видео и сделать его более «живым» благодаря поддержке пользовательских моделей. Это нововведение обещает повысить реалистичность и разнообразие контента, позволяя кастомизировать каждого героя под индивидуальные задачи.
В обновлении появилась возможность тренировать модели для видео, что позволяет создавать устойчивый и последовательный образ персонажа в движении. В отличие от классического подхода, где для обучения модели используются только изображения, Kling предлагает загружать короткие видеоролики, чтобы запечатлеть персонажа во всей его выразительности. По словам разработчиков, достаточно 10−30 коротких видео продолжительностью от 10 секунд, чтобы нейросеть смогла создать запоминающийся и устойчивый образ.
Для начала нужно загрузить на платформу фотографии или создать их с помощью других генеративных нейросетей. Затем пользователь делает несколько генераций с персонажем в разных локациях, позах и с разными выражениями лица. Главное, чтобы в каждом кадре акцент был на лице героя — это позволит нейросети захватить все особенности мимики и движений. Как только видео загружены, начинается процесс тренировки модели, что позволяет персонажу «оживать» и взаимодействовать с различными фонами и объектами.
Источник: hi-tech.mail.ru
Похожие новости:
«Слушая подкасты, ничего не узнаешь, ты должен устать, упасть без задних ног — такой должна быть встреча с образованием»
Гиперперсонализация: как сделать предложение пользователю релевантным
«Количество желающих повышать квалификацию в больших компаниях меньше, чем среди предпринимателей»
Уровень «цифровой зрелости» компаний в России выше, чем в среднем по миру