Multi-Sample Anti-Aliasing and Constrained Optimization for 3D Gaussian Splatting

#### Контекст 3D Gaussian splatting — это метод, предназначенный для реализации реалистичного нового вида просмотра в реальном времени. Он основывается на гауссовых функциях для представления объектов и сцен. Несмотря на свои достижения в улучшении качества и эффективности, существуют проблемы, связанные с недостатком геометрических ограничений во время оптимизации сцены. Эти проблемы приводят к размытию тонких деталей, особенно в областях с высокочастотными текстурами и гранями. Это ограничивает применение технологии в реалистичных сценах. Мотивация заключается в развитии нового подхода, который бы устранил эти ограничения, обеспечив более четкое и точное воспроизведение геометрических деталей. #### Метод Мы предлагаем новую оптимизационную модель, которая включает в себя два ключевых компонента. Во-первых, мы используем многообразие семплирования (MSAA), чтобы уменьшить алиасинг, особенно в регионах с высокочастотными текстурами. Во-вторых, вводятся две геометрические ограничения: (a) адаптивная стратегия взвешивания, ориентированная на улучшение реконструкции в упущенных или недостаточно построенных областях, используя динамический анализ градиентов, и (b) ограничения разности градиентов, которые обеспечивают регуляризацию геометрии вдоль краев объектов. Эта система использует выборку четырех подвыборок (quadruple subsamples) для адаптивного смешивания цветов пикселей, чтобы снизить алиасинг. Эта структура оптимизирует распределение ресурсов для регулирования критических областей, необходимых для уточнения, сохраняя глобальную консистентность. #### Результаты Мы проводили ряд экспериментов, используя различные наборы данных и сцен. Наши результаты показали значительные улучшения в задаче воспроизведения деталей, особенно в регионах с высокочастотными текстурами и гранями. Мы использовали метрики, такие как SSIM (Structural Similarity Index) и LPIPS (Learned Perceptual Image Patch Similarity), для оценки качества. В сравнении с базовыми методами, наш подход показал статистически значимые улучшения в SSIM и LPIPS, что указывает на более точное и качественное воспроизведение геометрии. Опытные результаты также подтверждают, что наш метод сохраняет высокую эффективность в реальном времени, не теряя в качестве. #### Значимость Наша работа может применяться в многих областях, таких как виртуальная реальность, игровые искусства, а также в системы автоматического визуализации трёхмерных сцен. Основные преимущества включают улучшение качества воспроизведения деталей, более точное воспроизведение высокочастотных текстур и граней, а так