Out-of-Sight Trajectories: Tracking, Fusion, and Prediction
2509.15219v1
cs.CV, cs.LG, cs.MA, cs.MM, cs.RO, 68T45, 68U10, 68T07, 68T40, 93C85, 93E11, 62M20, 62M10, 68U05, 94A12, F.2.2; I.2.9; I.2.10; I.4.1; I.4.8; I.4.9; I.5.4; I.3.7
2025-09-20
Авторы:
Haichao Zhang, Yi Xu, Yun Fu
Резюме на русском
## Контекст
Трактории (trajectories) — это ключевое понятие в области компьютерного зрения и автономных систем. Они играют важную роль в таких приложениях, как автономное вождение, робототехника, наблюдение за объектами и виртуальная реальность. Однако многие существующие методы для прогнозирования траекторий основываются на полных и безупречных данных об объектах. Это приводит к серьезным проблемам при работе с неполными и шумными сигналами, которые могут возникнуть в результате ограниченного поля зрения камер, препятствий и отсутствия точных данных для оценки траекторий. Эти проблемы снижают точность и надежность прогнозов в реальных условиях. В этой работе призвано рассмотреть эти проблемы, расширив понятие Out-of-Sight Trajectory (OST) — задачу, которая предсказывает шумозависимые траектории вне поля зрения объектов, используя шумные данные из сенсоров.
## Метод
**Out-of-Sight Trajectory Prediction (OOSTraj)** — это расширенная модель, которая использует многослойную архитектуру, включающую Vision-Positioning Denoising Module (VPDM). Этот модуль использует калибровочные данные камеры для установления масштабированного визуального-позиционного проекционного отображения. Он эффективно де noise-ит шумные данные сенсоров независимо от того, используется ли полный текст данных или только часть. Данная модель также включает адаптированные алгоритмы, которые могут работать в режиме реального времени, даже при ограниченной наличием данных. Этот подход позволяет улучшить прогнозирование траекторий в трудных условиях, таких как препятствия, помехи и неполные данные.
## Результаты
Для оценки эффективности модели OOSTraj проведены эксперименты на двух датасетах: Vi-Fi и JRDB. Модель была сравнена с другими методами, такими как Kalman Filter и другие модели траекторий. Результаты показали, что OOSTraj дает значительно более точные прогнозы траекторий в сравнении с другими моделями. Были проведены эксперименты, показавшие, что OOSTraj лучше справляется с шумными данными, а также обеспечивает более точные прогнозы в ситуациях, когда объекты находятся вне области видимости камеры. Эти результаты подкрепляются графиками, сравнивающими производительность модели с другими подходами.
## Значимость
Модель OOSTraj имеет широкие возможности применения в таких областях, как автономное вождение, робототехника, наблюдение и виртуальная реальность. Она обеспечивает более достоверное и точное прогнозирование траекторий, даже в условиях с шумом и неполной информацией. Это может существенно повысить надежность автономных систем и улучшить безопасность в таких приложениях. Данный подход также мож
Abstract
Trajectory prediction is a critical task in computer vision and autonomous
systems, playing a key role in autonomous driving, robotics, surveillance, and
virtual reality. Existing methods often rely on complete and noise-free
observational data, overlooking the challenges associated with out-of-sight
objects and the inherent noise in sensor data caused by limited camera
coverage, obstructions, and the absence of ground truth for denoised
trajectories. These limitations pose safety risks and hinder reliable
prediction in real-world scenarios. In this extended work, we present
advancements in Out-of-Sight Trajectory (OST), a novel task that predicts the
noise-free visual trajectories of out-of-sight objects using noisy sensor data.
Building on our previous research, we broaden the scope of Out-of-Sight
Trajectory Prediction (OOSTraj) to include pedestrians and vehicles, extending
its applicability to autonomous driving, robotics, surveillance, and virtual
reality. Our enhanced Vision-Positioning Denoising Module leverages camera
calibration to establish a vision-positioning mapping, addressing the lack of
visual references, while effectively denoising noisy sensor data in an
unsupervised manner. Through extensive evaluations on the Vi-Fi and JRDB
datasets, our approach achieves state-of-the-art performance in both trajectory
denoising and prediction, significantly surpassing previous baselines.
Additionally, we introduce comparisons with traditional denoising methods, such
as Kalman filtering, and adapt recent trajectory prediction models to our task,
providing a comprehensive benchmark. This work represents the first initiative
to integrate vision-positioning projection for denoising noisy sensor
trajectories of out-of-sight agents, paving the way for future advances. The
code and preprocessed datasets are available at github.com/Hai-chao-Zhang/OST