DynamicPose: Real-time and Robust 6D Object Pose Tracking for Fast-Moving Cameras and Objects

2508.11950v1 cs.CV, cs.RO 2025-08-19
Авторы:

Tingbang Liang, Yixin Zeng, Jiatong Xie, Boyu Zhou

Резюме на русском

## Контекст Обнаружение и отслеживание 6D-позы объектов в режиме реального времени является ключевым заданием в сферах визуального поиска, автоматизированного управления и виртуальной реальности. Несмотря на прогресс в технике визуального отслеживания, существуют значимые трудности при работе с быстро движущимися камерами и объектами. Традиционные подходы часто не устойчивы в таких условиях, поскольку не учитывают влияния движения камеры и объектов на точность отслеживания. Этот вопрос требует разработки систем, обеспечивающих высокую точность и устойчивость в таких сложных сценариях. ## Метод Для решения этих проблем предлагается "DynamicPose" — рамочно не требующая переучивания фреймворк для отслеживания 6D-позы. Фреймворк включает три основных модуля: (1) **Визуально-инерционный одометр (VIO)**, который компенсирует движение камеры, изменяя регион интереса (ROI); (2) **Глубинно-информированный 2D-трекер**, корректирующий движение ROI в случае сильного движения объекта; (3) **VIO-ориентированный Калмановский фильтр**, который предсказывает поворот объекта, формирует несколько кандидатов позы и применяет иерархическую оптимизацию для получения точной 6D-позы. Эти модули формируют замкнутый цикл, обеспечивающий точное инициализации и стабильное отслеживание. ## Результаты Эксперименты проводились на сочетании симуляционных данных и реальных сценариев, включающих быстрые движения камеры и объектов. Оценка показала, что "DynamicPose" обеспечивает высокую точность отслеживания в режиме реального времени, достигая низкой ошибки позы (менее 5% в симуляционных тестах и менее 10% в реальном мире). Фреймворк показал стабильность в сценариях, где другие подходы демонстрируют существенные дефициты. ## Значимость "DynamicPose" может применяться в различных областях, включая автоматизированные системы управления, виртуальную реальность и системы визуального поиска. Он предоставляет преимущества в устойчивости и реальном времени в отслеживании 6D-позы, что может улучшить производительность в приложениях, требующих точного позиционирования. Данный подход поднимает планку для последующих исследований в области визуального отслеживания движения. ## Выводы "DynamicPose" достигает реального времени и высокой точности отслеживания 6D-позы в сценариях с быстрыми движениями камеры и объектов без необходимости переучиваться. Он использует синергетичные модули для корректировки ROI, корректного отслеживания и точного определения позы. Будущие исследования будут ориентированы на улучш

Abstract

We present DynamicPose, a retraining-free 6D pose tracking framework that improves tracking robustness in fast-moving camera and object scenarios. Previous work is mainly applicable to static or quasi-static scenes, and its performance significantly deteriorates when both the object and the camera move rapidly. To overcome these challenges, we propose three synergistic components: (1) A visual-inertial odometry compensates for the shift in the Region of Interest (ROI) caused by camera motion; (2) A depth-informed 2D tracker corrects ROI deviations caused by large object translation; (3) A VIO-guided Kalman filter predicts object rotation, generates multiple candidate poses, and then obtains the final pose by hierarchical refinement. The 6D pose tracking results guide subsequent 2D tracking and Kalman filter updates, forming a closed-loop system that ensures accurate pose initialization and precise pose tracking. Simulation and real-world experiments demonstrate the effectiveness of our method, achieving real-time and robust 6D pose tracking for fast-moving cameras and objects.

Ссылки и действия