Gradient-Direction-Aware Density Control for 3D Gaussian Splatting

#### Контекст 3D Gaussian Splatting (3DGS) представляет собой новый подход к решению проблемы нового просмотра сцены, который использует гауссовые сплаты для эксплицитного представления сцены. Этот подход позволяет осуществлять реального времени фотореалистичного рендеринга. Однако существующие методы сталкиваются с двумя основными проблемами в сложных сценах. Во-первых, происходит переобъемление сцены (over-reconstruction), когда невозможно разделить многочисленные гауссовые компоненты с помощью адаптивных порогов. Это проблема усиливается тем, что различные гауссовые компоненты имеют противоречивые направления градиента. Во-вторых, возникает переуплотнение (over-densification), когда гауссовые компоненты собираются в объемных регионах, что приводит к ненужному увеличению объема данных. Эти проблемы приводят к увеличению требований к памяти и понижению качества рендеринга. Для решения этих задач предлагается новый подход с использованием градиентного направления. #### Метод Методология, предлагаемая в работе, называется Gradient-Direction-Aware Gaussian Splatting (GDAGS). Основная идея состоит в использовании показателя градиентной когерентности (GCR), который вычисляется на основе норм градиентных векторов. Этот показатель позволяет различать гауссовые компоненты с согласованными (concordant) и противоречивыми (conflicting) направлениями градиента. Для управления плотностью используется новая динамическая механика весов, которая учитывает GCR. В случае с разделением (splitting) гауссовых компонент GDAGS предпочитает те компоненты, у которых градиенты имеют противоречивое направление, чтобы улучшить геометрические детали. В случае с клонированием (cloning) GDAGS повышает плотность гауссовых компонент с согласованным направлением, чтобы завершать структуру, при этом избегая переуплотнения противоречивых гауссовых компонент. #### Результаты Описание экспериментов, используемых данных и полученных результатов: Эксперименты проводились на различных реальных бенчмарках, включая сложные сцены, например, внутренние помещения и внешние пейзажи. Использовались широкие данные с различными углами просмотра для оценки качества рендеринга. Результаты показали, что GDAGS оказывается более эффективным по сравнению с существующими методами. Он демонстрирует повышенное качество рендеринга, снижает переобъемление и переуплотнение, а также эффективно использует память, достигая на 50% меньшего объема занимаемой памяти благодаря оптимизированной использованию гауссовых компонент. #### Значимость Этот подход может быть применен в различных областях, таких как виртуальная реальность, и