Event-guided 3D Gaussian Splatting for Dynamic Human and Scene Reconstruction

## Контекст Проблема реконструкции динамических людей вместе с статическими сценами из монокурсорных видео остается сложной, особенно при высокой скорости движения, когда RGB-кадры страдают от модуляции скорости. В этой области событийные камеры предлагают существенные преимущества, такие как микросекундная темпоральная разрешаемость, делая их привлекательными для динамической реконструкции людей. Наша работа привлекла внимание к моделированию людей и сцен в одной модели с использованием 3D-Gaussian Splatting, чтобы объединить моделирование движущихся людей и статических сцен. Мы предлагаем фреймворк, который может легко использоваться для моделирования людей и сцен в одной модели, что выгодно отличает его от существующих подходов. ## Метод Мы предлагаем новую модель, использующую 3D-Gaussian Splatting для реконструкции людей и сцен. Мы используем 3D-Gaussians для представления как движущихся людей, так и статических сцен. Для движущихся людей Gaussians деформируются для анимации, в то время как для статических ничего не меняется. Для улучшения качества реконструкции в результате высокой скорости движения, мы предлагаем событийно-гидродинамический потерий, который сравнивает изменения яркости между последовательными визуализациями с событиями. Это позволяет улучшить локальную точность в круто движущихся областях. Наш фреймворк упрощает процесс моделирования людей и сцен в одной модели, что делает его более эффективным по сравнению с другими подходами. ## Результаты Мы проверили нашу модель на двух наборах данных: ZJU-MoCap-Blur и MMHPSD-Blur. Наши результаты показали значительные достижения в PSNR, SSIM и понижении LPIPS, особенно для высококонтрастных работ. Мы сравнили нашу модель с существующими подходами, и показали, что наша модель превосходит их во всех аспектах. Эти результаты подтверждают эффективность нашего подхода в моделировании динамических людей и сцен с использованием событийных камер. ## Значимость Наш подход может быть применен в различных областях, таких как виртуальная реальность, анимация, и динамическая реконструкция движущихся объектов. Он предлагает несколько преимуществ над существующими подходами, включая улучшенную точность, упрощенную обработку, и более эффективное моделирование движущихся людей и сцен. Это может иметь значительное влияние в развитии технологий, таких как VR/AR, системы слежения и динамическая моделирования. ## Выводы Мы представили новую модель для реконструкции людей и сцен с использованием событийных камер. Мы показали, что наш подход превосходит существующие подходы в