Efficient motion-based metrics for video frame interpolation
2508.09078v1
eess.IV, cs.CV
2025-08-14
Авторы:
Conall Daly, Darren Ramsook, Anil Kokaram
Резюме на русском
#### Контекст
Видео фрейм интерполяция (VFI) является методом генерирования промежуточных кадров между парами соседних кадров видео-потока. Несмотря на то, что недавно было достигнуто значительное успешное развитие алгоритмов интерполяции кадров, оценка перцептивного качества генерируемого видео-контента остается актуальной проблемой. Эта проблема возникает из-за того, что обычные метрики, такие как PSNR и SSIM, часто не соотносятся с перцептивной оценкой качества. В данной статье рассматриваются простые подходы к обработке потока движения кадров, которые могут повысить точность мерки качества интерполированных кадров.
#### Метод
Методология основывается на изучении и обработке потоков движения кадров. Основная идея заключается в том, чтобы использовать разность движений (motion field divergence), чтобы определять качество интерполированных кадров. Данный подход был описан и протестирован на данных BVI-VFI, который содержит перцептивные оценки промежуточных кадров. Метод реализован как более быстрая альтернатива FloLPIPS, включая ускорение в 2.7 раз. Изученные метрики показывают приемлемую корреляцию с перцептивными оценками (PLCC = 0.51). Изучены различные новые подходы к интерполяции, включая современные стандарты.
#### Результаты
Проведенные эксперименты показали, что данная методика дает более "человеческую" оценку качества видео-снимков, чем существующие методы, которые часто ориентируются на математические мерки качества (PSNR и SSIM). Интерполированные кадры, которые показываются более приятными для человека, могут не иметь высокой оценки в PSNR или SSIM. Метрики, основанные на разности движения, дают более точную оценку качества интерполированных кадров.
#### Значимость
Данные результаты могут быть применены в различных областях, включая обучение моделей интерполяции кадров, оценку качества видео-контента, интернет-видео-трансляций, медиа-редактировании и AR/VR-системах. Основным преимуществом новой методики является высокая скорость и точность в оценке качества, что дает потенциал для её использования в реальном времени.
#### Выводы
Разработанные в данной работе метрики дают новый взгляд на оценку качества интерполированных кадров в видео-потоках. Они предлагают более перцептивно-приятные результаты, чем существующие методы. Будущие исследования будут сфокусированы на расширении этой методики для других областей, таких как AR и VR, а также на работе с более сложными сценариями интерполяции.
Abstract
Video frame interpolation (VFI) offers a way to generate intermediate frames
between consecutive frames of a video sequence. Although the development of
advanced frame interpolation algorithms has received increased attention in
recent years, assessing the perceptual quality of interpolated content remains
an ongoing area of research. In this paper, we investigate simple ways to
process motion fields, with the purposes of using them as video quality metric
for evaluating frame interpolation algorithms. We evaluate these quality
metrics using the BVI-VFI dataset which contains perceptual scores measured for
interpolated sequences. From our investigation we propose a motion metric based
on measuring the divergence of motion fields. This metric correlates reasonably
with these perceptual scores (PLCC=0.51) and is more computationally efficient
(x2.7 speedup) compared to FloLPIPS (a well known motion-based metric). We then
use our new proposed metrics to evaluate a range of state of the art frame
interpolation metrics and find our metrics tend to favour more perceptual
pleasing interpolated frames that may not score highly in terms of PSNR or
SSIM.
Ссылки и действия
Дополнительные ресурсы: