Рисую сцены Wallpaper Engine на Linux своим рендерером на Rust

Wallpaper Engine я люблю за сцены. Это не зацикленные видео, а живые обои: слои картинок, шейдеры, частицы, персонажи, у которых шевелятся волосы, и даже скрипты на JavaScript. На Windows всё это просто работает. На Linux есть linux-wallpaperengine, и он многое умеет, но запускается отдельной программой поверх рабочего стола. Мне хотелось, чтобы сцена вела себя как обычные обои: плавно сменялась, засыпала, когда экран заблокирован, и не тратила батарею, когда её не видно.

В итоге я написал библиотеку apolline-scene. Она открывает сцену из Workshop и рисует её в любой OpenGL или GLES контекст. Ниже рассказываю, как сцены устроены внутри, на чём я спотыкался и почему иногда лучше отказаться рисовать, чем нарисовать почти правильно.

Вкладка Steam Workshop в приложении для выбора обоев: самые популярные сценыВкладка Steam Workshop в приложении для выбора обоев: самые популярные сцены

Сцены из Workshop в моём приложении для выбора обоев. Сами обои принадлежат их авторам.

Что лежит внутри сцены

Скачанная из Workshop сцена выглядит как папка с project.json и файлом scene.pkg. В пакете лежит scene.json с камерой и слоями, материалы, шейдеры, текстуры в формате .tex, эффекты, системы частиц, модели .mdl для анимации и скрипты. Ещё у самого Wallpaper Engine есть папка assets со стандартными шейдерами, на которые сцены ссылаются. Её я беру из установленной у человека программы и никуда не копирую. Как и сами сцены, это чужое.

Отдельная история с лицензией. linux-wallpaperengine выходит под GPL-3.0, а свою библиотеку я хотел под MIT и Apache, чтобы её можно было встроить куда угодно. Поэтому его код я не открывал вообще. Форматы разбирал по самим файлам сцен и публичной документации, а правильность проверял так: у каждой сцены есть превью, которое приложил её автор, и мой кадр должен с ним совпасть. Это медленнее, зато нет спора «а по-моему похоже».

Файлы из интернета

Сцены выкладывают незнакомые люди, поэтому читать их надо аккуратно. У разбора везде стоят пределы: на размер пакета и текстуры, на шейдеры 256 КБ на файл и мегабайт на все сразу, а путь внутри пакета не может выйти наружу. Распакованные текстуры не могут занять больше гигабайта. DXT я распаковываю в RGBA, и сцена с десятком кадров 8192 на 8192 иначе съела бы всю видеопамять.

Сам формат .tex оказался самым пёстрым. Внутри бывает DXT1, DXT3 и DXT5, сырые RGBA, RG и R, всё это иногда сжато LZ4, а иногда там лежит обычный PNG или JPEG. Анимированные текстуры хранятся спрайт-листом с таблицей кадров.

Шейдеры, которые притворяются двумя языками сразу

Шейдеры Wallpaper Engine пишутся так, чтобы собираться и как GLSL, и как HLSL. На деле это GLSL, в который то и дело заходят float4, saturate, lerp, mul и texSample2D. Большую часть разницы закрывает препроцессор. Перед каждым шейдером я дописываю вот такую шапку:

#define texSample2D texture#define texSample2DLod textureLod#define frac fract#define saturate(x) clamp(x, 0.0, 1.0)#define lerp mix#define fmod(x, y) ((x) - (y) * trunc((x) / (y)))#define mul(x, y) ((y) * (x))#define atan2 atan#define float4 vec4#define float4x4 mat4

mul переворачивает множители не просто так: в HLSL матрицы по умолчанию хранятся иначе.

С остальным сложнее. HLSL многое прощает. Можно собрать вектор из одного числа, взять число из вектора, применить остаток от деления к дробным, поставить целое туда, где ждут дробное. Десктопный GL на NVIDIA многое из этого пропускает, а строгий GLES нет. Поэтому у меня есть отдельный проход, который выводит тип выражения там, где это однозначно, и дописывает явное преобразование только там, где GLSL иначе отказался бы собирать шейдер. Если проход в чём-то не уверен, он ничего не трогает. Шейдер, который честно не собрался, лучше шейдера, который собрался и считает не то.

Самый забавный баг вылез, когда я запустил всё на настоящей машине с NVIDIA. Стандартный эффект pulse и эффекты уменьшения картинки называют переменную sample. В GLSL ES это зарезервированное слово. На маке всё работало, а там не собрались 9 сцен из 27. Теперь после разбора диалекта я переименовываю двадцать четыре слова, которые GLSL ES держит за собой: sample, filter, input, output и прочие. Униформы не трогаю, их программа ищет по имени.

Эффекты и режимы наложения

Эффект в сцене это цепочка проходов. Слой рисуется в свою текстуру, следующий проход читает её и пишет дальше. У части эффектов есть именованные буферы для лучей, размытия и бликов. Разработчик Wallpaper Engine сам говорил, что многопроходные эффекты не документированы. Так что каждая моя догадка о формате сначала сидела за отказом и включалась, только когда совпала с превью на настоящих сценах.

Свечение всей сцены (bloom) я повторил по стандартным материалам программы. Из кадра берётся то, что ярче порога, уменьшается вчетверо, размывается в несколько шагов и добавляется обратно.

Режимов наложения слоёв тридцать два, от «затемнения» до «оттенка», как в графических редакторах. Каждый слой рисуется отдельно и смешивается с тем, что под ним. Режим «оттенок» я сверял с превью по яркости, расхождение вышло меньше половины процента.

Скелетная анимация по самим файлам

Когда у персонажа на обоях колышутся волосы или поднимается рука, это puppet warp: картинку гнут скелетом. Формат .mdl я разбирал полностью по файлам. В нём три части. Сначала сетка: вершины в пикселях картинки от её центра, у каждой до четырёх костей с весами. Потом скелет: имя кости, родитель, матрица покоя. Потом анимации: кадры в секунду, длина и для каждой кости на каждый кадр позиция, поворот и масштаб.

Версий формата я встретил пять. То, что идёт после анимации, у них отличается, поэтому пока я читаю только первую анимацию в файле, а самую новую версию скелета честно не беру. Вершины сгибаю на процессоре каждый кадр, это дёшево.

Чужой JavaScript на рабочем столе

Скрипты в сценах пишутся на JavaScript, и запускать чужой код на рабочем столе надо осторожно. Каждый рендерер получает свой QuickJS, и в нём есть только API сцены, которое я написал сам. Файлов и сети там нет. Памяти дано 64 МБ, на загрузку скрипта две секунды, на кадр 50 миллисекунд. Если скрипт не уложился, его останавливают, а сцена продолжает жить без него.

Чаще всего скрипты двигают слои и рисуют часы, иногда раскачивают свечение под музыку. Звук приходит спектром, 64 полосы на канал. Эту часть я сделал совсем недавно и на живой музыке толком не гонял.

Частицы и одна оптимизация

Частицы были самой прожорливой частью. Почти всё время процессора на тяжёлых сценах уходило на шум турбулентности. Для трёх осей считались три отдельных шума, и каждый заново обходил решётку. Я сделал так, чтобы решётка обходилась один раз сразу для трёх. На одной сцене расход упал с 35 до 22 процентов ядра при 30 кадрах в секунду.

Почему я отказываюсь рисовать

Если в сцене есть хоть что-то, чего библиотека не умеет (видео внутри текстуры, 3D-слои, HDR-свечение, пара операторов частиц), она сцену не рисует и прямо пишет, чего не хватает. Происходит это до того, как текущие обои будут заменены.

Сцена без одного слоя выглядит как сломанная программа, и человек решит, что проблема у него. А отказ можно обработать. Мой демон обоев в таком случае отдаёт сцену linux-wallpaperengine, если он установлен. Неправильная картинка хуже честного запасного варианта.

Это правило задало и порядок работы. Сцена рисуется нативно, только если поддержано всё, что в ней есть. Поэтому сначала я взял 60 самых популярных сцен Workshop (с тем, что они подтягивают, получился 81 проект) и посчитал, что мешает каждой. В начале целиком рисовались восемь. Дальше шли скрипты (32 сцены), флаги частиц (31), текстовые слои (29) и вспомогательные буферы (23). Задачи я брал прямо по этому списку сверху вниз.

Что получилось

На Arch с RTX 4070 Ti, в живой библиотеке из 41 обоев, нативно готовятся 27 сцен. Рисуются все 27, и кадр каждой совпадает с превью. На маке, где я в основном работал, из 81 сцены готовятся 55, и рисуются тоже все.

На видеокартах AMD и Intel с Mesa я реальные сцены ещё не запускал, только синтетические тесты. Если у вас такая карта и Wallpaper Engine в Steam, очень помогло бы, если бы вы прогнали проверку: в README есть одна команда, которая рисует по кадру каждой сцены и падает на любом шейдере, который не собрался.

Как это живёт в демоне обоев

Мой демон обоев apolline-wall рисует сцены в том же GL-контексте, что картинки, видео и шейдеры с Shadertoy. Отдельный процесс так бы не смог в двух вещах.

Первое: одна сцена на нескольких мониторах считается один раз. Она рисуется в холст своей формы, и каждый экран показывает свой кусок. На двух мониторах это сняло около четверти нагрузки на процессор, а видеокарта стала загружена на 32 процента вместо 46.

Одни обои на трёх мониторах разного размераОдни обои на трёх мониторах разного размера

Один холст на три экрана разного размера. Здесь шейдер hills из репозитория, со сценой всё устроено так же.

Второе: кадр рисуется, только когда его просит компоновщик. Если обои закрыты окном во весь экран, они не стоят ничего. С видео в тестовой виртуалке было около семи ядер, а стало меньше одного. Ещё обои засыпают при блокировке, перед сном и, если хотите, на батарее.

Выбирать обои можно в отдельном приложении, оно работает на любом рабочем столе и говорит с демоном через тот же сокет, что и командная строка.

Приложение для выбора обоев: библиотека, справа выбранная картинка, внизу что показывает каждый мониторПриложение для выбора обоев: библиотека, справа выбранная картинка, внизу что показывает каждый монитор

Библиотека обоев: свои папки и всё, что есть у Wallpaper Engine, внизу видно, что сейчас на каждом мониторе.

Ссылки

Библиотека: https://github.com/Pisosenie/apolline-scene

Демон обоев с приложением для выбора и плагином для KDE Plasma 6: https://pisosenie.github.io/apolline-wall/

Оболочка для niri, где всё это живёт: https://pisosenie.github.io/apolline/

Всё под MIT и Apache-2.0. Файлов Wallpaper Engine в репозиториях нет, библиотека читает то, что уже лежит у вас в Steam.

Если какая-то сцена рисуется не так, как на превью, или библиотека отказывается её рисовать, пришлите её номер из Workshop в issue. Каждая такая сцена либо баг, либо следующая строчка в списке того, чего не хватает.

Источник: habr.com

0 0 голоса
Рейтинг новости
1
0
Подписаться
Уведомить о
0 комментариев