Компания Sony подала патентную заявку на использование искусственного интеллекта, который анализирует только что отображенный кадр и последние действия игрока (нажатия кнопок), чтобы спрогнозировать следующий кадр — ещё до того, как консоль успеет отрисовать его по‑настоящему. Цель — обеспечить более плавный игровой процесс без задержек, характерных для других методов повышения частоты кадров.
ИИ изучает предыдущие кадры видеоряда и действия игрока, чтобы заранее генерировать и выводить на экран последующие кадры анимации. Информация основана на патентной заявке US 2026/0320740 A1.
В патентной заявке описывается подход, который предполагает, что, пока графическое оборудование занято отрисовкой следующего реального кадра, обученный ИИ анализирует только что показанный кадр и предугадывает, что должно быть дальше. Этот «предсказанный» кадр выводится на экран первым, благодаря чему видеоряд остаётся плавным и стабильным.
В документе отмечается, что некоторые существующие методы предполагают вставку промежуточного («фейкового») кадра между двумя реальными. Это означает, что приходится дожидаться завершения отрисовки обоих реальных кадров, и появляется задержка. В версии Sony прогноз строится без ожидания отрисовки следующего реального кадра.
В патенте используется автокодировщик — пара нейронных сетей (программных систем, обучающихся на примерах), которые работают как единое целое. Энкодер сжимает кадр в «эмбеддинг» — компактный набор чисел, отражающий содержание изображения. Декодер преобразует этот набор обратно в прогнозируемый следующий кадр.
Процесс обучения выглядит так: весовые коэффициенты (настраиваемые параметры внутри сети) изначально задаются случайным образом. Энкодер получает кадр из видеопотока, декодер пытается предсказать следующий кадр, а система сравнивает этот прогноз с реальным кадром. Разница между ними называется «потерей» (loss) — это показатель того, насколько ошибочным оказался прогноз. В патенте указано, что обучение включает проверку этой величины потерь на соответствие заданному пороговому значению. Участие человека (разметка данных) не требуется, поскольку правильные ответы содержатся в самом видеопотоке.
После завершения обучения система работает циклически:
-
графический конвейер отрисовывает реальный кадр;
-
энкодер считывает этот кадр, а также (опционально) векторы движения (указывающие направление перемещения отдельных элементов изображения) и данные о недавних действиях пользователя с контроллером;
-
декодер формирует синтетический кадр и сразу направляет его в буфер дисплея; этот кадр отображается до того, как будет готов следующий реальный;
-
декодер генерирует больше цветовых каналов, чем получает на входе энкодер, что позволяет создавать сразу несколько последующих кадров.
В заявке также упоминается возможность прогнозирования предыдущих кадров и описывается более простой, не основанный на ИИ резервный метод, при котором блоки пикселей смещаются в соответствии с их векторами движения.
Если это решение заработает, в требовательных играх можно будет добиться более стабильной частоты кадров — и при этом избежать дополнительной задержки ввода, которая обычно возникает, когда системе приходится «ждать» появления двух полноценных кадров. В патентной заявке это описывается как способ борьбы с «фризами» (hitching) — внезапными притормаживаниями, которые замечают игроки, когда сцена становится слишком тяжёлой для обработки. Кроме того, это позволяет игре поддерживать постоянный темп, избавляя от необходимости снижать качество графики ради сохранения стабильной частоты кадров.
Для реализации используются стандартные компоненты: процессор, память и экран, а данные о действиях игрока (ввод с контроллера) помогают системе точнее «предсказывать» промежуточные кадры. По сути, это программное решение, которое можно внедрить как на игровых консолях, так и на ПК.
Это уже 16-я патентная заявка Sony в сфере графического рендеринга. Ранее компания представила решения для обнаружения новых объектов в кадре и для улучшения чёткости сжатого игрового изображения.
В документации не приводятся количественные показатели скорости или качества изображения, а в приведенном примере заметно, что модель упускает детали. Ошибочный вариант может промелькнуть на экране за доли секунды, поэтому модель должна работать достаточно точно, чтобы пользователь этого не замечал.
Компания Sony подала патентную заявку на использование искусственного интеллекта, который анализирует только что отображенный кадр и последние действия игрока (нажатия кнопок), чтобы спрогнозировать следующий кадр — ещё до того, как консоль успеет отрисовать его по‑настоящему. Цель — обеспечить более плавный игровой процесс без задержек, характерных для других методов повышения частоты кадров.
ИИ изучает предыдущие кадры видеоряда и действия игрока, чтобы заранее генерировать и выводить на экран последующие кадры анимации. Информация основана на патентной заявке US 2026/0320740 A1.
В патентной заявке описывается подход, который предполагает, что, пока графическое оборудование занято отрисовкой следующего реального кадра, обученный ИИ анализирует только что показанный кадр и предугадывает, что должно быть дальше. Этот «предсказанный» кадр выводится на экран первым, благодаря чему видеоряд остаётся плавным и стабильным.
В документе отмечается, что некоторые существующие методы предполагают вставку промежуточного («фейкового») кадра между двумя реальными. Это означает, что приходится дожидаться завершения отрисовки обоих реальных кадров, и появляется задержка. В версии Sony прогноз строится без ожидания отрисовки следующего реального кадра.
В патенте используется автокодировщик — пара нейронных сетей (программных систем, обучающихся на примерах), которые работают как единое целое. Энкодер сжимает кадр в «эмбеддинг» — компактный набор чисел, отражающий содержание изображения. Декодер преобразует этот набор обратно в прогнозируемый следующий кадр.
Процесс обучения выглядит так: весовые коэффициенты (настраиваемые параметры внутри сети) изначально задаются случайным образом. Энкодер получает кадр из видеопотока, декодер пытается предсказать следующий кадр, а система сравнивает этот прогноз с реальным кадром. Разница между ними называется «потерей» (loss) — это показатель того, насколько ошибочным оказался прогноз. В патенте указано, что обучение включает проверку этой величины потерь на соответствие заданному пороговому значению. Участие человека (разметка данных) не требуется, поскольку правильные ответы содержатся в самом видеопотоке.
После завершения обучения система работает циклически:
-
графический конвейер отрисовывает реальный кадр;
-
энкодер считывает этот кадр, а также (опционально) векторы движения (указывающие направление перемещения отдельных элементов изображения) и данные о недавних действиях пользователя с контроллером;
-
декодер формирует синтетический кадр и сразу направляет его в буфер дисплея; этот кадр отображается до того, как будет готов следующий реальный;
-
декодер генерирует больше цветовых каналов, чем получает на входе энкодер, что позволяет создавать сразу несколько последующих кадров.
В заявке также упоминается возможность прогнозирования предыдущих кадров и описывается более простой, не основанный на ИИ резервный метод, при котором блоки пикселей смещаются в соответствии с их векторами движения.
Если это решение заработает, в требовательных играх можно будет добиться более стабильной частоты кадров — и при этом избежать дополнительной задержки ввода, которая обычно возникает, когда системе приходится «ждать» появления двух полноценных кадров. В патентной заявке это описывается как способ борьбы с «фризами» (hitching) — внезапными притормаживаниями, которые замечают игроки, когда сцена становится слишком тяжёлой для обработки. Кроме того, это позволяет игре поддерживать постоянный темп, избавляя от необходимости снижать качество графики ради сохранения стабильной частоты кадров.
Для реализации используются стандартные компоненты: процессор, память и экран, а данные о действиях игрока (ввод с контроллера) помогают системе точнее «предсказывать» промежуточные кадры. По сути, это программное решение, которое можно внедрить как на игровых консолях, так и на ПК.
Это уже 16-я патентная заявка Sony в сфере графического рендеринга. Ранее компания представила решения для обнаружения новых объектов в кадре и для улучшения чёткости сжатого игрового изображения. Кроме того, она получила на систему, позволяющую зрителям прямых эфиров влиять на игровой процесс стримеров («Адаптивный указатель на экране и реакции во время игры»).
В документации не приводятся количественные показатели скорости или качества изображения, а в приведенном примере заметно, что модель упускает детали. Ошибочный вариант может промелькнуть на экране за доли секунды, поэтому модель должна работать достаточно точно, чтобы пользователь этого не замечал.
Источник: habr.com