OpenMoCap: Rethinking Optical Motion Capture under Real-world Occlusion

## Контекст Системы оптического мониторинга движения (optical motion capture, MoCap) являются ключевым инструментом в области виртуальной реальности, анимации и кинопроизводства. Они позволяют трансформировать жесты и движения реальных объектов в цифровые модели, создавая реалистичные сценарии в цифровых пространствах. Однако существующие системы сталкиваются с серьезными проблемами в условиях реального мира, где частые маркерные замещения (marker occlusions) приводят к ошибкам в распознавании и реконструкции движения. Эти ошибки значительно снижают точность и надежность систем, что ограничивает их применение в реальных сценариях. Недостаток реалистичных данных для обучения моделей и отсутствие эффективных методов для обработки длинных зависимостей между движущимися объектами являются основными трудностями. Мотивация заключается в разработке методов и данных, которые позволят улучшить точность и надежность систем оптического мониторинга движения в условиях маркерных замещений. ## Метод OpenMoCap предлагает новую модель для решения проблем оптического мониторинга движения в условиях отрицательного воздействия маркерных замещений. Методология строится на основе цепочного механизма оптимизации маркеров и узлов. Модель использует технологии лучевого распространения (ray tracing) для точного моделирования реальных условий замещения маркеров. Также включена архитектура, которая учитывает длинные зависимости между движущимися объектами. Эти технологии объединены в OpenMoCap, который формирует профессиональное решение для моделирования движения в условиях серьезных замещений. Эта модель включена в систему MoSen MoCap для реального применения. ## Результаты Опыты проводились на разных сценариях с высоким уровнем замещения маркеров. Для обучения и тестирования использовался новый датасет CMU-Occlu, созданный с использованием технологий лучевого распространения. Результаты показали, что OpenMoCap значительно превосходит существующие модели в точности и результатах реконструкции движения в условиях маркерных замещений. Особое внимание уделено его высокой точности при работе с цепочными зависимостями между маркерами и узлами. Эти результаты продемонстрированы в сравнении с другими предложенными моделями, где OpenMoCap показал стабильное превосходство. ## Значимость Предложенная модель OpenMoCap имеет широкие возможности применения в области виртуальной реальности, кинопроизводства, а также в медицине и спорте, где точное мониторинг движения важно для реализации реальных сценариев. Модель существенно улучшает точность и надежность системы в условиях маркерных замещений, что открывает путь для