A new dataset and comparison for multi-camera frame synthesis

## Контекст Рамки интерполяции и видовых синтеза — это ключевые подходы к созданию новых кадров в изображениях серий. Они адресуют одну и ту же задачу: интерполяцию кадра с учетом окружающих его кадров во времени или пространстве. Интерполяция кадров обычно связана с временными сдвигами, в то время как видовый синтез чаще всего используется для оценки глубины в решениях типа 3D. Однако существующие наборы данных для интерполяции кадров сосредоточены на временных сдвигах, в то время как данные для видового синтеза сконцентрированы на 3D-глубине. Это не позволяет проводить адекватное сравнение этих подходов. Наша цель — разработать новый набор данных, который будет обеспечивать честное сравнение для этих подходов. Мы используем устройство сгорания камер, которое позволяет создать детальные многокамерные последовательности изображений. ## Метод Мы разработали новый набор данных, используя настраиваемый линейный детальный камерный массив. Этот массив создает последовательности изображений с высокой точностью, которые могут использоваться для сравнения различных методов интерполяции и видового синтеза. Мы использовали этот массив для сравнения классических и глубоких алгоритмов интерполяции кадров с технологией 3D Gaussian Splatting для задачи видовой интерполяции. ## Результаты Мы провели эксперимент, сравнивая классические и глубокие алгоритмы интерполяции кадров с технологией 3D Gaussian Splatting. На реальных данных глубокие алгоритмы не становятся значительно лучше классических, в то время как 3D Gaussian Splatting оказывается менее эффективным, показывая до 3.5 dB ниже PSNR в сравнении с фрейм-интерполяторами. Однако в синтетических сценах результаты обратны: 3D Gaussian Splatting показывает выигрыш возрастающий до 5 dB PSNR после 95%-го уровня доверия. ## Значимость Наш набор данных и эксперименты позволяют честно сравнивать временную и пространственную работу интерполяции в разных задачах. Они также показывают, что, хотя глубокие алгоритмы имеют преимущество в виртуальных сценах, классические методы остаются эффективными в реальных сценах. Это делает нашу работу важной для развития инструментов для глубокого разбора интерполяции кадров. ## Выводы Мы разработали новый многокамерный набор данных, который обеспечивает лучшую честность в сравнении методов интерполяции и видового синтеза. Мы обнаружили, что глубокие алгоритмы не всегда превосходят классические методы в реальных условиях, но имеют преимущество в синтетических сценах. Наша работа открывает путь для будущих исследований в области разработки б