Evaluating Fisheye-Compatible 3D Gaussian Splatting Methods on Real Images Beyond 180 Degree Field of View
2508.06968v1
cs.CV, cs.GR
2025-08-13
Авторы:
Ulas Gunes, Matias Turkulainen, Juho Kannala, Esa Rahtu
Резюме на русском
## Контекст
Область трехмерной реконструкции широко применяется в сферах компьютернографии, виртуальной реальности и геоматериальных измерений. Существующие методы, ориентированные на стандартные линзовые камеры, часто сталкиваются с ограничениями при работе с данными, полученными с помощью фишекой-камер, из-за их высокой корректируемости и тесной связи с полями зрения выше 180 градусов. Это создает значительные проблемы в обработке реальных данных, где такие сцены широко распространены. В нашем исследовании мы адресовали эту проблему, оценив новые фишекой-адаптивные 3D Gaussian Splatting (GS) методы, включая Fisheye-GS и 3DGUT, на реальных изображениях с полями зрения, превышающими 180 градусов.
## Метод
Мы использовали две основные методологии для оценки: Fisheye-GS и 3DGUT. Для инициализации трехмерных моделей применялся UniK3D, не обученный на данных фишекой-камер, но способный генерировать точные точечные модели в условиях сильной дисторсии, в том числе без явного обучения на реальных данных. Вычисления проводились на реальных изображениях с 200-градусными фишекой-камерами, изучая поведение методов при различных полях зрения (200 градусов, 160 градусов и 120 градусов). Мы изучали торможение дисторсии и его влияние на качество реконструкции.
## Результаты
Оценка показала, что Fisheye-GS эффективно справляется с дисторсией при уменьшении поля зрения, особенно при 160 градусов, что приводит к улучшению качества реконструкции. 3DGUT, напротив, поддерживает высокое качество во всех условиях, включая полный 200-градусный полюс. UniK3D доказал свою эффективность, даже в сложных сценах, например, при наличии тумана, сияния или неба, где SfM часто терпит неудачу. Данные результаты подтверждают возможность использования фишекой-адаптивных 3DGS методов для широкого поля зрения в реальных сценах.
## Значимость
Наши результаты открывают пути для применения фишекой-камер в трехмерной реконструкции, обеспечивая практическую альтернативу к стандартным методам. Методы, оцененные в нашей работе, выделяются над соревнующимися решениями по своей высокой точности и устойчивости в условиях сильной дисторсии. Это может способствовать широкому развитию в области виртуальной и дополненной реальности, геоматериальных измерений и автоматизированных систем контроля.
## Выводы
Наше исследование показало, что фишекой-гибкие 3DGS методы могут эффективно работать в широких полях зрения, даже в условиях высокой дисторсии. Мы также показали, что UniK3D может быть эффективным для инициализации трех
Abstract
We present the first evaluation of fisheye-based 3D Gaussian Splatting
methods, Fisheye-GS and 3DGUT, on real images with fields of view exceeding 180
degree. Our study covers both indoor and outdoor scenes captured with 200
degree fisheye cameras and analyzes how each method handles extreme distortion
in real world settings. We evaluate performance under varying fields of view
(200 degree, 160 degree, and 120 degree) to study the tradeoff between
peripheral distortion and spatial coverage. Fisheye-GS benefits from field of
view (FoV) reduction, particularly at 160 degree, while 3DGUT remains stable
across all settings and maintains high perceptual quality at the full 200
degree view. To address the limitations of SfM-based initialization, which
often fails under strong distortion, we also propose a depth-based strategy
using UniK3D predictions from only 2-3 fisheye images per scene. Although
UniK3D is not trained on real fisheye data, it produces dense point clouds that
enable reconstruction quality on par with SfM, even in difficult scenes with
fog, glare, or sky. Our results highlight the practical viability of
fisheye-based 3DGS methods for wide-angle 3D reconstruction from sparse and
distortion-heavy image inputs.
Ссылки и действия
Дополнительные ресурсы: