Image-Conditioned 3D Gaussian Splat Quantization
2508.15372v1
cs.CV, cs.AI, cs.GR
2025-08-23
Авторы:
Xinshuang Liu, Runfa Blark Li, Keito Suzuki, Truong Nguyen
Резюме на русском
#### Контекст
3D Gaussian Splatting (3DGS) является перспективной технологией, обеспечивающей высококачественное реального времени рендеринга трёхмерных сцен. Однако существуют две основные проблемы, которые ограничивают её применение. Во-первых, существующие методы сжатия 3DGS сжимают сцены только до мегабайтного диапазона, что недостаточно для больших сцен или коллекций. Во-вторых, существуют никакие механизмы для обновления сцен после их архивирования. Данные ограничения препятствуют использованию 3DGS в большинстве настоящих сценариев применения. Мы предлагаем ICGS-Quantizer, который решает эти проблемы, обеспечивая эффективное сжатие до килобайтного диапазона и добавляя возможность обновления сцен после архивации.
#### Метод
Мы предлагаем ICGS-Quantizer, который построен на основе 3DGS, но включает дополнительные инновации для эффективного сжатия и улучшения устойчивости к изменениям сцен. Метод учитывает как интер-Гауссовые соотношения, так и интер-атрибутные соотношения. Мы используем общие кодеки для всех сцен, которые не изменяются при добавлении новых сцен, что позволяет снизить потребность в дополнительной памяти. Для достижения устойчивости к изменениям сцен после их архивного хранения, мы вводим механизм, который использует новые изображения, захваченные во время декодирования, для перестроения трёхмерной сцены. Это позволяет хранить сцену в уменьшенном виде, при этом сохраняя возможность обновления.
#### Результаты
Мы подвергли ICGS-Quantizer кросс-экспериментов на нескольких трёхмерных сценах с разными уровнями сложности. Мы сравнили его с состоянием технологии в двух ключевых аспектах: эффективности сжатия и устойчивости к изменениям сцен. Результаты показали, что ICGS-Quantizer эффективно сжимает сцены до килобайтного диапазона, что значительно превосходит состояние технологии. Также была подтверждена высокая устойчивость к изменениям сцен, что демонстрирует возможность использовать ICGS-Quantizer для реального времени обновления сцен после их архивирования.
#### Значимость
Наш метод может быть применён в различных областях, включая виртуальную реальность, мобильные приложения и системы с требованиями к высокому качеству рендеринга. Он обеспечивает значительное улучшение в сжатии трёхмерных сцен, что позволяет хранить больше сцен на одном устройстве или в базе данных. Также он предоставляет возможность адаптивного обновления сцен, что делает его уникальным для сценариев, где сцены могут меняться с течением времени. Это улучшение потенциально может иметь большое влияние на разви
Abstract
3D Gaussian Splatting (3DGS) has attracted considerable attention for
enabling high-quality real-time rendering. Although 3DGS compression methods
have been proposed for deployment on storage-constrained devices, two
limitations hinder archival use: (1) they compress medium-scale scenes only to
the megabyte range, which remains impractical for large-scale scenes or
extensive scene collections; and (2) they lack mechanisms to accommodate scene
changes after long-term archival. To address these limitations, we propose an
Image-Conditioned Gaussian Splat Quantizer (ICGS-Quantizer) that substantially
enhances compression efficiency and provides adaptability to scene changes
after archiving. ICGS-Quantizer improves quantization efficiency by jointly
exploiting inter-Gaussian and inter-attribute correlations and by using shared
codebooks across all training scenes, which are then fixed and applied to
previously unseen test scenes, eliminating the overhead of per-scene codebooks.
This approach effectively reduces the storage requirements for 3DGS to the
kilobyte range while preserving visual fidelity. To enable adaptability to
post-archival scene changes, ICGS-Quantizer conditions scene decoding on images
captured at decoding time. The encoding, quantization, and decoding processes
are trained jointly, ensuring that the codes, which are quantized
representations of the scene, are effective for conditional decoding. We
evaluate ICGS-Quantizer on 3D scene compression and 3D scene updating.
Experimental results show that ICGS-Quantizer consistently outperforms
state-of-the-art methods in compression efficiency and adaptability to scene
changes. Our code, model, and data will be publicly available on GitHub.
Ссылки и действия
Дополнительные ресурсы: