Вышла Gemini Omni 1.1 Flash: видео длиной 40 секунд, контроль кадров и 4K

Google выпустила новую версию своей мультимодальной модели для генерации видео – Gemini Omni 1.1 Flash. Апдейт добавляет ключевые функции, которых не хватало ранее: расширение сцен до 40 секунд, управление первым и последним кадрами, быстрые 360p-превью, апскейл до 4K.

Главное изменение – в механизме расширения сцен. Если раньше модель при продолжении видео анализировала только последнюю секунду исходного клипа (помимо самого текстового запроса), то теперь она учитывает до 10 секунд контекста. Это позволяет еще точнее сохранять персонажей, освещение и нарративную логику при добавлении новых фрагментов. Каждый шаг расширения – 10 секунд, суммарно можно собрать ролик в 40 секунд.

Контроль движения и черновики

Значительные изменения коснулись инструментов профессионального контроля. В Omni 1.1 перекочевали функции, ранее доступные только в Veo. Теперь разработчики могут задавать первый и последний кадры, а модель сама генерирует непрерывное видео между ними. Это открывает возможности для создания сложных операторских пролетов, зум-переходов и зацикленных клипов.

Режим черновиков в 360p

Такой режим генерирует видео на 60% быстрее стандартного 720p, а стоит втрое дешевле. Пользователь может быстро прогнать 3-4 гипотезы в низком разрешении, выбрать лучший дубль, а затем сделать апскейл до 1080p или 4K.

Промпт: Микроскопический вид радужных морских диатомей, демонстрирующий сложные стеклянные кремниевые оболочки. Сохраняйте эффект линзы микроскопа на протяжении всего видеоПромпт 1: Камера слегка панорамирует, и мы видим, что она разговаривает с мужчиной с кудрявыми волосами. Промпт 2: Камера медленно отъезжает, забытые пыльные катакомбы. Промпт 3: Камера медленно отъезжает, огромная библиотека, где полки и книги парят в невесомости.

Модель также научилась принимать на вход до 3 секунд референсного видео. Это позволяет переносить стиль движения или внешность персонажа из одного ролика в другой, что важно для продакшена в рекламе или кино.

Цены сохранились на уровне прежних флагманов.

Бенчмарки Arena

Arena (LMArena) успела прогнать новинку через свои датасеты. По результатам модель заняла 1-к место в категории текст-в-видео и 2-е – в изображении-в-видео!

В текстовой генерации видео Omni 1.1 Flash набрала 1495 очков, обойдя на 20 п. ближайшего конкурента – FLUX 3 Video.

В случае image-to-video Omin 1.1 набрала 1488 очков, уступив первое место MiniMax-H3, но показав рост на 25 п. по сравнению с предыдущей версией Gemini Omni Flash.

Доступ к модели: где запустить Omni 1.1 Flash

Модель доступна в следующих точках доступа:

• Google AI Studio: доступ через веб-интерфейс.

• Google flow: полный набор функций доступен подписчикам тарифов Google AI Plus, Pro и Ultra.

• GPTunneL: на ИИ-платформе GPTunneL модель Gemini Omni 1.1 Flash совсем скоро появится в каталоге – пока что вы можете воспользоваться Gemini Omni 1.

Первые независимые оценки положительные: один из тестировщиков отметил, что модель сохраняет контекст лучше предшественницы.

Источник: habr.com