Neural Atlas Graphs for Dynamic Scene Decomposition and Editing

## Контекст Основной мотивацией для развития методов сценарного разбора в динамических сценах является необходимость создания гибких и высококачественных моделей для анализа и редактирования сложных сцен, вовлеченных в автономное вождение или творческое редактирование. Несмотря на успех некоторых подходов, таких как нейроатласы, которые представляют сцены в виде двух деформируемых слоев (фоновый и передний), эти модели становятся неэффективными при поперекложении и взаимодействии объектов. Альтернативные подходы, основанные на графах сцены, позволяют создавать 3D-спектр предметов с использованием масок и боксингов, но выделение и редактирование этих моделей остается трудоемким и неоднозначным. Мы предлагаем метод Neural Atlas Graphs (NAGs), который объединяет преимущества нейроатласов и графов сцены, обеспечивая высокую точность, редактируемость и эффективность в обработке и редактировании динамических сцен. ## Метод Наша архитектура NAGs основана на нейроатласах, которые представляют каждый граф-узел как представление видящегося слоя в 2D. Каждый узел может находиться в произвольной позиции и выглядеть в зависимости от угла взгляда, что позволяет гибко организовывать трехмерные связи. Мы реализуем это с использованием методики обучения с подкреплением, чтобы обеспечить надёжный поиск и привязку объектов в сцене. Наша модель обладает высокой точностью в разборе сцен, что даёт возможность визуального редактирования в высоком разрешении, включая изменение фонов, позиций и визуальной аппаратуры. Мы также используем внешние проверки качества работы на данных свободного вождения и видео-анализа, чтобы продемонстрировать эффективность NAGs. ## Результаты Мы проверяли NAGs на двух различных датасетах: Waymo Open Dataset для автономных сцен и DAVIS для более общих видео-сцен. На Waymo, наш метод показал значительный прогресс по сравнению с предыдущими подходами, демонстрируя повышение PSNR на 5 дБ. На DAVIS, мы получили результаты, превосходящие современные методы маттинга и видео-редактирования, с увеличением PSNR на 7 дБ. Наши эксперименты показывают, что NAGs эффективно работают в широком диапазоне сцен, включая сложные динамические сцены с множеством объектов и взаимодействий. ## Значимость Наши результаты открывают путь для широких применений, включая автономное вождение, редактирование видео и виртуальную реальность. Мы показали, что NAGs обеспечивают высокое качество редактирования в 3D-мерности с высоким разрешением, что делает их привлекательными для приложений, требующих интерактивно