Seam360GS: Seamless 360° Gaussian Splatting from Real-World Omnidirectional Images

## Контекст 360-degree visual content широко распространен на платформах, таких как YouTube, и играет ключевую роль в таких областях, как виртуальная реальность, робототехника и автономная навигация. Однако потребительские системы с двумя фишей-камерами часто создают несовершенные панорамы из-за инфракрасной разделки объективов и ангулярных деформаций. В настоящей работе предлагается новая калибровочная модель, интегрирующая модель двух фишек-камер в 3D-пайплайн Гауссовского сплетения. Эта модель не только демонстрирует реалистичные визуальные артефакты, но и позволяет синтезировать идеальные 360-degree изображения. Это достигается путем оптимизации параметров 3D-Гауссовской модели вместе с параметрами калибровки, которые имитируют швы объективов и деформации. Таким образом, наши алгоритмы превращают несовершенные 360-degree изображения в самые точные новые виды синтеза. ## Метод Методология основывается на 3D-пайплайне Гауссовского сплетения, который использует данные с двух фишек-камер. Мы вводим новую калибровочную модель, которая учитывает швы и деформации, добавляя дополнительные параметры, которые позволяют имитировать визуальные артефакты, встречающиеся в реальных условиях. Для каждого кадра мы оптимизируем общую модель, учитывая 3D-параметры и калибровочные параметры, чтобы получить оптимальный результат. Это позволяет создавать идеальные 360-degree изображения даже из несовершенных входных данных, которые могут быть использованы в виртуальной реальности и других приложениях. ## Результаты Мы проверили нашу модель на реальных данных, включая съемки с двух фишек-камер. Наши результаты показали, что метод способен создавать идеальные 360-degree изображения, даже из несовершенных съемок. Мы сравнили нашу модель с другими моделями 360-degree rendering и показали, что она превосходит их в качестве нового вида синтеза. Эти результаты подтверждают, что наш метод является эффективным и реалистичным для 360-degree изображений в реальном мире. ## Значимость Наш метод может применяться в различных областях, таких как виртуальная реальность, робототехника и автономная навигация. Он обеспечивает более реалистичную и точную синтезированную 360-degree визуализацию, что делает его полезным для пользователей, стремящихся к более высокому качеству визуального окружения. Этот подход может быть использован для создания более детальных интерактивных систем и для улучшения существующих приложений, в которых требуется высококачественная 360-degree синтезированная среда. ## Выводы Мы представили новую моде