COMETH: Convex Optimization for Multiview Estimation and Tracking of Humans

2508.20920v1 cs.CV, cs.RO 2025-08-30
Авторы:

Enrico Martini, Ho Jin Choi, Nadia Figueroa, Nicola Bombieri

Резюме на русском

## Контекст Во времена Industry 5.0, мониторинг человеческой активности становится ключевым для обеспечения безопасности и сохранения здоровья. Однако существуют проблемы с вычислительной сложностью и бендвидтом при использовании систем с многокамерными структурами, что ограничивает их масштабируемость и применение в реальном времени. Распределение обработки данных между устройствами может уменьшить нагрузку на сеть, но приводит к ухудшению точности и неоднородности во времени и пространстве результатов. Цель нашего исследования — разработать решение, которое обеспечивает высокую точность мониторинга тела человека в реальном времени, учитывая ограничения ресурсов и реалистичные условия применения в промышленности и системах безопасности. ## Метод COMETH (Convex Optimization for Multiview Estimation and Tracking of Humans) — это алгоритм, основанный на конвексивной оптимизации, который решает проблему слияния нескольких видов человеческого тела в реальном времени. Он включает три основных компонента: 1. **Интеграция биомеханических и кинематических ограничений**, повышающих точность расположения суставов. 2. **Обратная кинематика на основе конвексивной оптимизации**, объединяющая данные с разных камер в единую модель. 3. **Состояние наблюдателя**, который повышает консистентность временных результатов. Эта методология распределяет вычисления между устройствами, сохраняя высокую точность и минимизируя сетевую нагрузку. ## Результаты COMETH был протестирован на общедоступных и индустриальных данных. Он показал значительные улучшения в локализации, детектировании и слежении за движением, по сравнению с современными стандартами. Например, в сценарии производственной среды, где точность и реакция в реальном времени критичны, алгоритм обеспечил высокую точность и стабильность. Также была проверена модель на генеральных данных, подтвердив ее применимость к различным сценариям применения. ## Значимость COMETH может применяться в различных областях, включая промышленные операции, системы безопасности и здравоохранение. Его основные преимущества заключаются в высокой точности, масштабируемости и эффективности ресурсов. Высокая степень распределения вычислений позволяет применять алгоритм в условиях ограниченности сетевого подключения и высоких нагрузок. Будущие исследования будут сфокусированы на улучшении адаптивности и интеграции с другими системами мониторинга. ## Выводы COMETH представляет собой перспективное решение для реального времени мониторинга тела человека. Он достиг высокой точности в локализации и детектировании, что делает его подходящим для промышленных применений.

Abstract

In the era of Industry 5.0, monitoring human activity is essential for ensuring both ergonomic safety and overall well-being. While multi-camera centralized setups improve pose estimation accuracy, they often suffer from high computational costs and bandwidth requirements, limiting scalability and real-time applicability. Distributing processing across edge devices can reduce network bandwidth and computational load. On the other hand, the constrained resources of edge devices lead to accuracy degradation, and the distribution of computation leads to temporal and spatial inconsistencies. We address this challenge by proposing COMETH (Convex Optimization for Multiview Estimation and Tracking of Humans), a lightweight algorithm for real-time multi-view human pose fusion that relies on three concepts: it integrates kinematic and biomechanical constraints to increase the joint positioning accuracy; it employs convex optimization-based inverse kinematics for spatial fusion; and it implements a state observer to improve temporal consistency. We evaluate COMETH on both public and industrial datasets, where it outperforms state-of-the-art methods in localization, detection, and tracking accuracy. The proposed fusion pipeline enables accurate and scalable human motion tracking, making it well-suited for industrial and safety-critical applications. The code is publicly available at https://github.com/PARCO-LAB/COMETH.

Ссылки и действия