DET-GS: Depth- and Edge-Aware Regularization for High-Fidelity 3D Gaussian Splatting

## КОНТЕКСТ И ПРОБЛЕМАТИКА 3D Gaussian Splatting (3DGS) является передовым методом для эффективного и высококачественного синтеза новых видов в трехмерном пространстве. Однако, несмотря на значительные достижения в этой области, существуют существенные проблемы, связанные с точностью геометрического восстановления при использовании разреженных видов. Традиционные методы регуляризации глубины, основанные на нелокальных подходах, часто не могут точно восстановить тонкие структурные детали, оказываясь чрезвычайно чувствительными к шумам в оценке глубины. Это приводит к потере деталей и неточностям в геометрическом моделировании. Другой ключевой проблемой является игнорирование семантических границ в процессе регуляризации. Методы, использующие обычные сглаживающие методы, часто ухудшают качество реконструкции, так как они не различают важные ребра и текстурные детали, что приводит к ухудшению общего качества визуализации. Эти ограничения не позволяют достичь высокого уровня точности и визуальной достоверности при синтезе новых видов, особенно в условиях разреженного набора входных данных. Мотивацией данной работы является разработка метода, который мог бы преодолеть эти ограничения, обеспечивая точное и высококачественное восстановление геометрии и сохраняя тонкие детали и семантические границы. Такой подход должен быть устойчив к шумам в оценке глубины и способен сохранять важные текстурные особенности, чтобы повысить общую точность и качество реконструкции. ## ПРЕДЛОЖЕННЫЙ МЕТОД В данной работе предлагается новый метод под названием DET-GS (Depth- and Edge-Aware Regularization for 3D Gaussian Splatting), который является унифицированной рамочной структурой для регуляризации глубины и сохранения ребер. Основная идея метода заключается в использовании иерархической геометрической регуляризации глубины, которая адаптивно обеспечивает согласованность на различных уровнях детализации. Это позволяет улучшить точность геометрической реконструкции и увеличить устойчивость к шумам в оценке глубины. Для сохранения семантических границ, метод использует регуляризацию глубины, основанную на детекции ребер (Canny edge detection), которая помогает определить семантически важные границы сцены. Это позволяет сохранить важные детали и ребра, которые могут быть потеряны при использовании традиционных методов сглаживания. Кроме того, в методе используется RGB-guided edge-preserving Total Variation (TV) loss, которая способна сглаживать однородные области, сохраняя при этом высокочастотные детали и текстуры. Это позволяет достичь более высокого качества визуализации, уменьшая шум и неточности в областях, где они могут возникнуть. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Эксперименты проводились на различных данных, включая разреженные виды сцен, для оценки эффективности предложенного метода. Данные включали высококачественные 3D модели и сцены с различными уровнями сложности. Результаты показали, что DET-GS значительно улучшает точность геометрического восстановления и качество визуализации по сравнению со стандартными методами 3DGS. При использовании DET-GS было получено более точное восстановление тонких деталей и структур, а также лучшее сохранение ребер и текстурных особенностей. Метод также показал высокую устойчивость к шумам в данных глубины, что является ключевым преимуществом в сравнении с другими подходами. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Предложенный метод DET-GS имеет широкое применение в области трехмерного моделирования и синтеза новых видов. Он может быть использован в различных приложениях, таких как виртуальная и дополненная реальность, где важна высокая точность и качество визуализации. Преимущества DET-GS включают в себя улучшенную точность геометрического моделирования, сохранение важных деталей и ребер, а также устойчивость к шумам в данных. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ В работе было показано, что DET-GS является эффективным методом для улучшения точности и качества трехмерного моделирования. Он предоставляет новые возможности для создания более достоверных и высококачественных 3D моделей, особенно при работе с разреженными видами. Будущие исследования могут фокусироваться на дальнейшем улучшении метода, включая использование более совершенных методов детекции ребер и расширение его применимости на более широкий класс данных.