MV-SSM: Multi-View State Space Modeling for 3D Human Pose Estimation

## Контекст 3D human pose estimation является ключевым заданием в области визуального понимания, с помощью которого можно определить локацию человеческого тела в пространстве. Несмотря на то, что задача 3D human pose estimation была значительно продвинута в последние годы, она все еще имеет ряд сложностей, особенно в случае использования нескольких камер. Одним из основных трудностей является обучение моделей, которые могут общаться между разными видами ресурсов, такими как несколько камер, и по-прежнему моделировать пространственные отношения между человеческими ключевыми точками. Существующие модели часто сталкиваются с проблемами связанными с ограниченностью обучения, переобучением и неэффективным использованием нескольких источников входных данных, что приводит к снижению точности. Мы предлагаем новую модель Multi-View State Space Modeling (MV-SSM) для повышения производительности в задаче multi-view 3D human pose estimation. ## Метод Мы предлагаем Multi-View State Space Modeling (MV-SSM), который является исключительно эффективным фреймворком для 3D human pose estimation. Наша модель использует многокамерные входные данные, чтобы моделировать пространственные отношения между ключевыми точками в человеческом теле. Мы предлагаем **Projective State Space (PSS)** блок, который моделирует локальные и глобальные структуры пространственных отношений, используя **state space modeling**. Блок PSS также содержит **Grid Token-guided Bidirectional Scanning (GTBS)**, что позволяет моделировать пространственные отношения в сетке, чтобы улучшить общую точность. Мы также используем **multi-view attention** для обеспечения переносимости и обучения модели к новым условиям камеры. ## Результаты Мы проверили нашу модель на нескольких вызовных наборах данных, включая CMU Panoptic, Campus A1 и другие. Мы сравнили MV-SSM с текущими ведущими моделями и доказали, что она показала значительное улучшение в 3D human pose estimation. Например, на CMU Panoptic, наша модель показала +10.8 на AP25 (+24%) во время выполнения трех камер, +7.0 на AP25 (+13%) в случае изменения конфигурации камер, и +15.3 PCP (+38%) во время переносимости на другой датасет. Эти результаты подтверждают силу нашей модели в области generalization и точности в multi-view 3D human pose estimation. ## Значимость Наше решение может быть применено в различных областях, таких как VR/AR, робототехника, интерактивные технологии, где 3D human pose estimation требуется. Мы показали, что MV-SSM может общаться между разными камерами и обнаруживать человеческие ключевые точки в сложных условиях, таких как сцены с оккультацией. Это делает нашу модель более универсальной и эффективной для решения задач визуального понимания. Мы также отметили, что MV-SSM показала высокую точность в задаче обучения к новым условиям камеры, что является ключевым преимуществом по сравнению с другими мо