Проблема бенчмарков: блогер наглядно показал, почему нельзя слепо доверять программам для измерения FPS

Автор YouTube канала Hardware Accent, задавшись целью сравнить игровую производительность на Windows и Linux, столкнулся с фундаментальной проблемой, ставящей под сомнение достоверность многих популярных тестов.

Эксперимент проводился в ремейке Dead Space. Сначала на Windows блогер запустил игру, одновременно включив два популярных оверлея для мониторинга: связку MSI Afterburner + CapFrameX и встроенный оверлей из драйвера AMD Adrenalin Software. В одной и той же статичной сцене, где персонаж просто стоял на месте, глядя на большой вентилятор, показания программ разительно отличались. Так, MSI Afterburner показывал среднюю производительность в районе 298 FPS с показателем 1% Low (редкие события) на уровне 152 FPS. В то же самое время оверлей от AMD сообщал о среднем значении в 270 FPS. Столь большая разница в критически важном для плавности показателе 1% Low делает невозможным объективную оценку производительности.

Ситуация стала еще более показательной при переходе на Linux (дистрибутив Bazzite, максимально приближенный к SteamOS). Там для замера использовались утилита MangoHud и встроенный в Steam счетчик производительности. В той же самой локации MangoHud демонстрировал стабильные 308-311 FPS в среднем, а 1% Low держался на отметке 167-171 FPS. Субъективно, по словам автора, игра на Linux ощущалась плавнее, а график времени кадра был заметно ровнее, чем на Windows. Однако встроенный логгер от Steam после замера выдал совершенно абсурдные цифры, сообщив о среднем значении в 8.8 FPS, что окончательно подтвердило хаотичность и ненадежность программных методов измерения.

Автор пришел к выводу, что если разные программы не могут прийти к единому результату даже в рамках одной ОС, то сравнивать данные, полученные в Windows с помощью MSI Afterburner и в Linux с помощью MangoHud — это фундаментально неверный подход. Это объясняет, почему крупные технические каналы, такие как Gamers Nexus, говорили о проблемах при подготовке подобных тестов, а другие и вовсе избегают их. По мнению блогера, единственным по-настоящему достоверным методом остается анализ видеопотока с помощью карт захвата, как это делает редакция Digital Foundry, что, к сожалению, недоступно большинству пользователей.

Источник: www.playground.ru

0 0 голоса
Рейтинг новости
1
0
Подписаться
Уведомить о
0 комментариев
Межтекстовые Отзывы
Посмотреть все комментарии