Евангелист NVIDIA Джейкоб Фриман раскрыл в переписке с техноблогером Дэниелом Оуэном технические подробности работы DLSS 5, которые идут вразрез с недавними заявлениями генерального директора компании Дженсена Хуанга.
Согласно разъяснениям Фримана, новая версия апскейлера не имеет глубокой интеграции с игровым движком. В качестве входных данных нейросеть использует исключительно финальный 2D-кадр и векторы движения. Технология не получает информации об освещении, картах глубины, свойствах материалов или 3D-геометрии сцены.
Это противоречит словам Хуанга, который ранее утверждал, что DLSS 5 — это «не постобработка на уровне кадра, а генеративный контроль на уровне геометрии».
Фактически алгоритм работает по принципу «дорисовывания»: модель анализирует плоское изображение, самостоятельно определяет объекты (например, ткань, кожу или волосы) и накладывает на них освещение и детализацию, основываясь на своей обучающей базе. Этим, вероятно, объясняются артефакты в демонстрации Resident Evil Requiem, где у главной героини появился макияж, а черты лица изменились — ИИ просто «увидел» лицо и обработал его по своим шаблонам, игнорируя исходную геометрию.
Инструментарий для разработчиков также оказался ограниченным. Студии смогут регулировать интенсивность эффекта, настраивать цветокоррекцию (контраст, гамму, насыщенность) и накладывать маски на области, где применение ИИ нежелательно. Однако прямого контроля над тем, как именно нейросеть интерпретирует объекты, у авторов не будет.
Сейчас NVIDIA продолжает вести консультации с игровыми студиями, чтобы сделать DLSS 5 лучше, заверил Фриман.
Информация вызвала резкую критику в профессиональном сообществе. В разговоре с порталом Kotaku разработчики назвали технологию «оскорблением».
Ранее инсайдер Том Хендерсон сообщал, что рядовые сотрудники студий, чьи игры попали в презентацию NVIDIA, даже не знали об использовании созданного ими контента для демонстрации возможностей DLSS 5.
Источник: gamemag.ru