Разработчики опубликовали нейросеть ToonCrafter, которая интерполирует два мультипликационных кадра, заполняя хронометраж между ними. В итоге получаются короткие анимационные видео.
ToonCrafter поддерживает несколько режимов генерации:
в базовом режиме пользователь передаёт на вход начальный и конечный кадры анимации и получает короткий роли;
вместе с кадрами можно передать скетч с пошаговой анимацией, чтобы нейросеть использовала его в качестве шаблона;
можно передать скетч с пошаговой анимацией и один готовый кадр в качестве референса, а нейросеть раскрасит набросок, используя цвета из примера.
Пока ToonCrafter может генерировать видео с разрешением 320×512 пикселей. Длительность не может превышать 16 кадров.
Код нейросети написан на Python и опубликован на GitHub и на платформе Hugging Face. Энтузиасты подготовили Jupiter для удобной работы с моделью и загрузили блокнот в сервис Google Colab.
Источник: habr.com
Похожие новости:
Всем флагманам флагман: Обзор смартфона HONOR Magic6 Pro
Смартфон среднего класса с самым долгим временем работы от аккумулятора в 2024 г.
Исследователи Meta* Research выпустили нейросеть для генерации жестов и мимики 3D-аватаров на основе записанной речи
Google представила Lumiere — нейросеть для генерации реалистичных видео