Вчера, 30 сентября, компания OpenAI официально представила миру свою новую флагманскую генеративную модель Sora 2, которая позволяет создавать видео и аудио по запросу пользователя. Стоит сразу отметить, что во втором поколении модели разработчики американского гиганта сделали акцент на повышенном реализме и физике виртуального мира — разница по сравнению с первым поколением довольно существенная. Дело в том, что предыдущие видеомодели часто трансформировали объекты в кадре и искажали реальность, чтобы успешно выполнить текстовую подсказку пользователя. Например, если баскетболист в видео промахивался мимо кольца, ИИ «телепортировал» мяч в кольцо. Видео: OpenAI
В Sora 2 если баскетболист промахивается, то мяч просто отскакивает от кольца. И хотя новая модель, по словам её создателей, всё ещё несовершенна, она гораздо лучше подчиняется законам физики по сравнению с предыдущими системами. «Это чрезвычайно важная возможность для любого симулятора мира — необходимо уметь моделировать и неудачи, а не только успехи», — заявили в OpenAI.
Кроме того, новая модель стала большим шагом вперёд в плане «управляемости», так как Sora 2 способна следовать сложным инструкциям, которые охватывают несколько кадров, сохраняя при этом общее состояние мира. Также представители компании заявили, что их генеративная модель способна создавать сложные фоновые звуки, генерировать речь и звуковые эффекты — всё с высокой степенью реализма. Видео: OpenAI
Но, что куда интереснее, пользователи также могут внедрять элементы из реального мира в модель Sora 2, что открывает интересные возможности для создания контента. Например, если дать модели «посмотреть» видео с участием человека, Sora 2 сможет затем встроить этого человека в любую среду, сгенерированную данной видеомоделью, с точным воспроизведением его внешности и даже голоса. Данная опция применима к любому человеку, животному или даже неживому объекту. Видео: OpenAI
И чтобы пользователям было интереснее встраивать себя в виртуальную реальность, компания даже запустила отдельное приложение под названием Sora, которое представляет собой условную социальную сеть с вертикальными роликами. В нём пользователи могут создавать ролики, интегрируя себя в виртуальный мир, создавать ремиксы видеороликов и даже добавлять друзей в кадр при помощи функции камео. При этом у пользователя всегда будет полный контроль над тем, кто и как использует его внешность для видеороликов — в любой момент можно отозвать доступ и удалить все ролики, использующие внешность человека.
Источник: trashbox.ru