CF3: Compact and Fast 3D Feature Fields

#### Контекст 3D Gaussian Splatting (3DGS) — это метод, который позволяет хранить и обрабатывать 3D-данные в виде Gaussian feature fields. Этот метод находит применение в различных областях, таких как реалистичная генерация имиджей и AR/VR-системы. Однако, существующие подходы страдают от высоких затрат на вычисления из-за использования bottom-up оптимизации, которая обрабатывает 2D-данные как "правду" и не эффективно интегрирует информацию из 2D-фондациональных моделей. Мотивация для данного исследования заключается в создании более эффективной архитектуры, позволяющей сократить затраты на вычисления, сохранив точность и детализацию 3D-представления. #### Метод Мы предлагаем CF3 (Compact and Fast 3D Feature Fields) — подход, значительно сокращающий затраты на вычисления и оптимизирующий хранение 3D-данных. В процессе CF3 вначале выполняется быстрая фузированная обработка многоканальных 2D-данных с использованием предварительно обученных Гауссовых моделей. Это позволяет использовать существующую модель в качестве гибкой структуры для хранения и обработки 3D-данных. Затем, мы применяем адаптивный метод спарсинга, который уменьшает количество Гауссовых моделей, сохраняя при этом геометрические детали. Автокодировщик, работающий непосредственно на высокомерных 3D-данных, лучше адаптируется к распределению данных. Наша методология эффективнее и менее трудоемкая, чем Feature-3DGS, используя всего 5% Гауссовых моделей для построения 3D-представления. #### Результаты Мы проводили многочисленные эксперименты на различных датасетах, включая реалистичные 3D-сцены. Наши результаты показали, что CF3 достигает той же точности, что и Feature-3DGS, но используя значительно меньше вычислительных ресурсов. В частности, CF3 позволяет снизить количество Гауссовых моделей, необходимых для точного представления, на 95%, что значительно ускоряет процесс. Также мы проверили нашу модель на различных тестовых сценах, получив одинаковые или лучшие результаты по качеству геометрического представления, чем у существующих подходов. #### Значимость Предлагаемая модель CF3 может быть применена в различных областях, таких как машинное зрение, графика компьютера, AR/VR, а также в производственных процессах, требующих эффективных 3D-решений. Основное преимущество CF3 заключается в своей высокой эффективности. Она значительно сокращает вычислительные затраты, что делает ее привлекательной для применения в реальном времени. Будущие работы будут ориентированы на расширение CF3 для более сложных сцен, включая динамические сцены и видео-потоки. #### Выводы Мы представили