Serial Over Parallel: Learning Continual Unification for Multi-Modal Visual Object Tracking and Benchmarking

#### Контекст Современные многомодальные системы визуального слежения (MMVOT) объединяют разные типы технических сенсоров для повышения точности и надежности. Однако существуют ряд проблем, связанных с невозможностью эффективной унификации множества модальностей в обучении. Отсутствие унифицированного бенчмарка и структурированного подхода приводит к несовместимости между обучением и тестированием, что в свою очередь приводит к ухудшению качества. Данная работа направляется на развитие методов, позволяющих устранить эти проблемы, повысить эффективность систем и создать универсальный подход к обучению с множеством модальностей. #### Метод Разработана новая методология, известная как "Serial Over Parallel", предлагающая последовательный процесс обучения для унификации модальностей. Основной идеей является интеграция модальностей поэтапно, чтобы уменьшить нагрузку на систему и избежать проблем связанных с многопараллельными методами. Унификация осуществляется с использованием нового рекордсета UniBench300, который сочетает различные типы данных и сокращает количество проходов для тестирования. Это позволяет уменьшить время работы системы и улучшить ее устойчивость. #### Результаты Проведены тщательные эксперименты с использованием двух базовых моделей и четырех бенчмарков. Наблюдается значительное повышение точности и уменьшение времени обработки. Также установлено, что ухудшение качества отталкивается от сетевой мощности и различий модальностей. Наибольшую проблему имеют модальности RGBD и RGBT, в то время как RGBE показывает менее заметные деградации. Эти результаты дают ценные подсказки для дальнейшего исследования в области многомодальных трекинговых систем. #### Значимость Разработанный подход может быть применен в различных задачах многомодального визуального слежения, таких как трекинг объектов в разнообразных условиях (RGB, D, E). Он предлагает значительные преимущества в скорости и точности выполнения задач, а также позволяет устранять проблемы с несовместимостью данных. Это может повлиять на развитие технологий для систем безопасности, автоматизированных систем и дальнейшего развития многомодальных визуальных систем. #### Выводы Работа представляет собой значительный шаг в области многомодальных трекинговых систем. Она представляет новый подход к унификации модальностей, обеспечивая эффективность и устойчивость. Будущие исследования будут направлены на улучшение методологии и расширение ее приложений в различных сферах.