OpenAI вместе с соцсетью в стиле TikTok показала Sora 2 — обновлённую модель для генерации видео и аудио, которая умеет создавать фотореалистичные сцены и синтезировать речь. Главная новинка — функция Cameo, позволяющая добавлять в ролики самого себя или других людей. Для этого нужно один раз записать видео и аудио, чтобы подтвердить личность.
По словам разработчиков, Sora 2 работает с физикой движений лучше предшественницы. Если первая версия путалась в простых вещах вроде удара баскетбольного мяча о щит, то новой модели это даётся без проблем. В примерах OpenAI показала гимнастические и скейтбордистские трюки, а также боевые искусства — хотя местами алгоритм всё ещё ошибается, в частности, со сложными предметами. Также модель научилась генерировать речь — в том числе на русском.
По словам первых пользователей, Sora 2 отлично справляется с анимированием мемов, превращением любых роликов в стильные аниме-сцены, таймлапсами и вставкой персонажей мультфильмов в фильмы. Для роликов можно выбирать горизонтальный или вертикальный формат, а их продолжительность ограничена 10 секундами.
Некоторые запросы система блокирует: так, нельзя сгенерировать видео со Шреком или штурмовиком из «Звёздных войн». При этом нейросеть без проблем даёт использовать образ Пикачу.
Sora 2 уже доступна в приложении Sora на iOS, но пока только по приглашениям.
Источник: lifehacker.ru