Multi-view Normal and Distance Guidance Gaussian Splatting for Surface Reconstruction

## Контекст 3D Gaussian Splatting (3DGS) — это метод, получивший прекрасные результаты в области поверхностной реконструкции, особенно для небольших сцен, расположенных во внутренних пространствах или на открытом воздухе. Однако, в случае одновременного использования нескольких обзоров, проблемы, такие как несоответствие геометрии и нормалей к поверхности при переключении между видами, могут привести к ошибкам в реконструкции. Эти проблемы особенно важны для окончательного подбора геометрии и текстуры. Наша мотивация заключается в создании метода, устраняющего эти ограничения и обеспечивающего точность и согласованность между различными видами. ## Метод Мы предлагаем **Multi-view Normal and Distance-Guided Gaussian Splatting (MND-GS)**, который решает проблему несовпадения нормалей и геометрии в нескольких видах. Метод использует два основных модуля: 1. **Multi-view Distance Reprojection Regularization Module**: Этот модуль вычисляет расстояние между двумя близкими видами и пересекающейся гауссовской поверхностью, чтобы выравнивать дистанционные параметры и обеспечивать точность. 2. **Multi-view Normal Enhancement Module**: Он гарантирует согласованность нормалей гауссовской поверхности в нескольких видах, путем сравнения и выравнивания нормалей пикселей в зависимости от соседних видов, с последующим вычислением потерь. Эти модули обеспечивают глубину и геометрию, гарантируя вездесущую физическую точность и согласованность. ## Результаты Мы проверили наш метод на нескольких сценах, включая внутренние и внешние области. Наши эксперименты показали, что MND-GS превосходит базовый метод 3DGS в тестах, основанных как на цифрах, так и на качестве визуального результата. Например, улучшение погрешности в нормалях достигло 10-15% в сравнении с основным 3DGS, а восстановленные поверхности были более точными и согласованными во всех видах. ## Значимость Мы видим применение нашего подхода в различных областях, таких как виртуальная реальность, игровая индустрия и моделирование 3D. Наш метод обеспечивает более точную и консистентную реконструкцию поверхностей, что повышает качество изображений и упрощает процесс редактирования. Это может привести к повышению качества продуктов в графической индустрии и улучшению представления сцен в виртуальных и аugmented-реальностных приложениях. ## Выводы Мы представили MND-GS, метод, который решает проблему несоответствия геометрии и нормалей в нескольких видах, обеспечивая согласованность и точность в реконструкции поверхности. Мы показали, что наш метод превосходит базовый 3DGS в технических и визуальных экспериментах. В будущем мы планируем