Вслед за скандальным анонсом DLSS 5 компания NVIDIA провела отдельную презентацию, посвящённую более глубокому применению нейросетей в играх. Если пятая DLSS работает как «умный фильтр» поверх готовой картинки, то новые технологии встраиваются прямо в процесс создания изображения, чтобы решить одну из главных проблем современных игр — нехватку видеопамяти и огромный вес установочных файлов.
Речь идёт о программе Neural Texture Compression (NTC) — нейронном сжатии текстур. На протяжении многих лет разработчики использовали старые методы сжатия, чтобы текстуры не занимали слишком много места в памяти видеокарты. Однако с ростом детализации игр эти методы перестают справляться.
NVIDIA предложила использовать нейросетевую модель, которая «упаковывает» текстуры гораздо эффективнее. На презентации показали сцену с виртуальной виллой:
При стандартном сжатии сцена требовала 6,5 ГБ видеопамяти. При использовании NTC потребление памяти упало до 970 МБ (почти в 7 раз меньше!).
При этом качество картинки не только не пострадало, но и оказалось выше, чем при обычном сжатии. Ранее NVIDIA демонстрировала шлем пилота, текстуры которого удалось ужать с 272 МБ до невероятных 11 МБ.
Для рядового геймера внедрение NTC будет означать следующее:
Игры перестанут требовать видеокарты с огромным объёмом памяти для запуска на максимальных настройках. Вес игр на внутреннем диске компьютера значительно уменьшится. Патчи и обновления будут скачиваться быстрее.
Вторая представленная технология — Neural Materials. Обычно для создания реалистичной поверхности — например, ржавого металла или мокрого асфальта — видеокарте приходится одновременно просчитывать множество слоёв текстур и сложные математические модели отражения света.
Neural Materials работает иначе: вместо сложных расчётов в реальном времени нейросеть заранее «заучивает», как свет должен вести себя на конкретном материале под разными углами. Во время игры она просто выдаёт готовый результат. В тестовой сцене это позволило ускорить рендеринг изображения в разрешении 1080p в 1,4–7,7 раза без потери визуального качества.
Важно отметить, что эти технологии не имеют ничего общего с генеративным ИИ (который может дорисовать персонажу лишние пальцы или изменить лицо). Нейросети NTC обучаются строго на тех текстурах, которые загрузили в них художники игры, поэтому они не могут ничего «выдумать» или испортить авторский замысел.
Расчёты для этих технологий выполняются на специальных аппаратных блоках современных видеокарт (тензорных ядрах), поэтому они не отнимают мощность у основного графического процессора.
Подобные разработки ведёт не только NVIDIA. Концепция нейросетевого сжатия уже добавлена Microsoft в DirectX под названием Cooperative Vectors, а свои аналоги ранее показывали Intel и AMD. На данный момент ни одна вышедшая игра не поддерживает эти технологии, однако их внедрение ожидается в ближайшие годы.
Источник: gamemag.ru