Rigidity-Aware 3D Gaussian Deformation from a Single Image

#### Контекст Реконструкция деформации объекта из одного изображения представляет собой значительную проблему в области компьютерного зрения и графики. Большинство существующих методов опираются на видео с нескольких углов, что ограничивает их применение в ситуациях, где доступно только одно изображение. Эта ограниченность существенно сужает потенциал методов в реальных сценариях, где одно изображение является единственным доступным источником. Наше исследование направлено на развитие методов, которые могут эффективно и точно реконструировать деформации только на основе одного изображения, обогатив широкий спектр применений, включая интерактивные инструменты, рамкообразующие и анимацию. #### Метод Мы предлагаем DeformSplat, рамочный подход, который эффективно проводит 3D Gaussian-based deformation только из одного изображения. Основные технические вклады включают: 1. **Gaussian-to-Pixel Matching**: Это техника позволяет перевести 3D Gaussian-based representations в 2D пиксельные наблюдения. Она устраняет главные трудности, связанные с преобразованием между двумя разных пространственными представлениями, повышая точность и надежность гида деформации. 2. **Rigid Part Segmentation**: Метод разделяет объект на раздельные rigid parts, идентифицируя те регионы, которые должны сохранять жесткость во время деформации. Это гарантирует геометрическую когерентность и естественность реконструированных моделей. Наша архитектура объединяет эти элементы в интегрированный подход, который устраняет ограничения существующих методов, обеспечивая точную и консистентную деформацию даже в условиях ограниченных данных. #### Резюме Мы провели эксперименты с использованием различных данных, включая стандартные наборы данных для деформаций и реальные сцены. Наши результаты показали, что DeformSplat не только превосходит существующие методы в тестовых условиях но и естественно расширяется на потребности, такие как frame interpolation, interactive manipulation, и другие приложения. Метод демонстрирует высокую точность и надежность, делая его привлекательным для практических применений в computer vision. #### Значимость Наш подход открывает новые горизонты для многочисленных приложений, включая: - **Frame Interpolation**: Он позволяет эффективно создавать гладкие и точные интерполированные кадры. - **Interactive Object Manipulation**: Реконструируя деформации, он обеспечивает более естественный и точный интерактивный эффект с 3D объектами. - **Computer Vision Applications**: Он может использоваться в различных других областях, таких как AR/VR, robotic manipulation и даже semantic segmentation. Помимо этого, DeformSplat устанавливает новые стандарты точности в области deformable object reconstruction. #### Выводы Мы представили DeformSplat, первый подход, который эф