Вышла OminiControl — нейросеть для перемещения объектов с одного изображения на другое

Разработчики выпустили контроллер OminiControl для диффузионных моделей-трансформеров. С её помощью пользователи могут перемещать объекты с фотографии на сгенерированное изображение.

OminiControl работает в двух режимах:

Генерация. В этом режиме на вход нейросети надо передать фотографию исходного объекта и текстом описать желаемый результат. После чего нейросеть сгенерирует изображение, на котором будет находиться исходный объект.

Заполнение маски. Пользователь может закрыть маской фрагменты исходного изображения и задать текстовый запрос для генерации. После этого нейросеть заполнит маску, учитывая промпт.

Пока нейросеть может генерировать изображения с разрешением 512 × 512 пикселей. В ближайшее время разработчики выпустят модель, которая будет создавать картинки с разрешением 1024 × 1024 пикселей.

Код OminiControl опубликован на GitHub, а на площадке HuggingFace развернули бесплатное демо.

Источник: habr.com

0 0 голоса
Рейтинг новости
1780
0
Подписаться
Уведомить о
0 комментариев
Межтекстовые Отзывы
Посмотреть все комментарии