ContraGS: Codebook-Condensed and Trainable Gaussian Splatting for Fast, Memory-Efficient Reconstruction

#### Контекст 3D Gaussian Splatting (3DGS) — современная техника моделирования реальных сцен с высоким качеством и в реальном времени. Она позволяет получить высококачественную трехмерную сцену с помощью множества малых трехмерных гауссовых функций. Однако, увеличение числа этих функций для повышения качества приводит к значительному увеличению требований к GPU-памяти, что затрудняет обучение модели и сокращает ее выполняемые задачи. Эти ограничения ограничивают применение 3DGS в реальных сценариях, где необходимо быстрое и эффективное моделирование. Целью нашего исследования является разработка метода, который позволит эффективно работать с такими моделями, оставив качество высоким, но сократив затраты ресурсов. #### Метод Мы предлагаем ContraGS, метод, позволяющий обучать модели накопленной трехмерной гауссовой спаттинг-системы, уменьшая требования к памяти без существенного потери качества. Для этого мы представляем трехмерные гауссовые функции в виде кодеков — компактных представлений, которые хранятся во время обучения. Это позволяет эффективно использовать ресурсы GPU. Однако, использование кодеков во время обучения требует решения проблемы обучения недифференцируемых параметров. Мы предлагаем решение этой проблемы с помощью байесовских методов, в частности, используя Markov Chain Monte Carlo (MCMC) для оценки параметров в компактных представлениях. В результате, мы удаляем необходимость хранить все параметры, но сохраняем качество модели. #### Результаты Мы провели эксперименты со сравнением ContraGS с современными методами. Мы использовали реалистичные данные для моделирования реальных сцен. Наши результаты показывают, что ContraGS существенно уменьшает требования к GPU-памяти — в среднем на 3.49 раз, ускоряет обучение на 1.36 раз и ускоряет рендеринг на 1.88 раз. Измерения качества показали, что ContraGS почти соответствует современным технологиям, что делает его привлекательным для реальных приложений. #### Значимость Метод ContraGS может применяться в различных областях, где требуется моделирование трехмерных сцен с высоким качеством и быстродействием. Это позволит увеличить эффективность использования GPU-ресурсов, уменьшить затраты на обучение и рендеринг, а также расширить применение технологий трехмерного моделирования в реальном времени. ContraGS может быть применен в игровой индустрии, виртуальной реальности, а также в медицинском и инженерном моделировании. #### Выводы Мы представили ContraGS — метод, позволяющий эффективно обучать модели трехмерной гауссовой спаттинг-системы с помощью кодеков для сжатия параметров. Это решение позволяет сократить требования к памяти