GRASPTrack: Geometry-Reasoned Association via Segmentation and Projection for Multi-Object Tracking

## Контекст Multi-object tracking (MOT) в монокурсных видео сталкивается с значимыми задачами, такими как рассеивание и амбигуитность глубины, что создает серьезные проблемы для традиционных методов трекинга-по-обнаружению (tracking-by-detection, TBD). Эти методы часто не учитывают геометрические свойства объектов, что приводит к неточностям в определении места и движения. Для решения этих проблем требуется новый подход, призванный включить геометрическую осмысленность и усовершенствовать механизмы связывания объектов в пространстве. ## Метод GRASPTrack представляет собой инновационный подход к MOT, который интегрирует модели многоканального глубинного распознавания и инстансной сегментации в стандартную трубу TBD. Эта интеграция позволяет генерировать точные 3D-точечные множества из 2D-обнаружений, обеспечивая геометрическое осмысление в пространстве. Далее, эти точечные множества возводятся в 3D-воксели для возможности точного пространственного сравнения с помощью Voxel-Based 3D Intersection-over-Union (IoU). Чтобы повысить надежность отслеживания, предлагается Depth-aware Adaptive Noise Compensation, которая подстраивает процессное шум отклонений для более точного оценивания состояния. Также вводится Depth-enhanced Observation-Centric Momentum, расширяющее согласованность движения объектов из плоскости изображения на пространство 3D, чтобы улучшить подсказки для ассоциации в операциях сложных движений. ## Результаты GRASPTrack протестирован на MOT17, MOT20 и DanceTrack, где показал высокую надежность в условиях частых рассеиваний и хитроумных движений. Метод повысил производительность отслеживания, особенно в сложных сценах, и демонстрировал свою превосходность по сравнению с современными алгоритмами. Эксперименты показали, что геометрическое осмысление и пространственное сравнение внесли значительный вклад в повышение точности и надежности отслеживания. ## Значимость GRASPTrack может применяться в различных сферах, таких как безопасность, автоматизированные системы, анализ сложных сцен и др. Он обеспечивает более точное и надежное отслеживание, улучшает обработку в сложных сценах и подходит для решения задач, требующих высокой точности и производительности в 3D-моделировании. ## Выводы GRASPTrack достигает значительных улучшений в MOT, используя геометрическое осмысление и пространственное сравнение. Будущие исследования будут сконцентрированы на улучшении моделей глубины, расширении многоканальных сенсоров и расширении применений в сложных реальных сценах.