SmartPoser: Arm Pose Estimation with a Smartphone and Smartwatch Using UWB and IMU Data

2509.03451v1 cs.HC, cs.CV, cs.GR, cs.RO 2025-09-05
Авторы:

Nathan DeVrio, Vimal Mollyn, Chris Harrison

Резюме на русском

## Контекст Область трекинга мышечных поз пользователя находится в сердце многих технологических достижений, включая тренировки, реабилитацию, ввод в аugmented reality, life logging и контекстно-ауктуальные системы помощи. Однако существующие решения либо ограничены в области применения, либо сопряжены с значимыми проблемами. Например, системы, использующие камеры, испытывают серьезные затруднения в обеспечении приватности. Альтернативные методы, основанные на нескольких надетовшихся IMU-устройствах или маркерах, требуют дорогостоящего оборудования и не всегда гибки в использовании. Мы подходим к этой проблеме с целью использовать доступное потребительское оборудование, в частности смартфоны и смарт-часы, для точного определения позы рук. Данная технология может потребоваться во многих сферах, включая фитнес-приложения и контекстно-ауктуальные системы. ## Метод Мы разработали систему SmartPoser, которая использует две основные компоненты: смартфон и смарт-час. Эти устройства совмещают данные от датчиков IMU (импульсных датчиков движения) и новой функции UWB (ultra-wideband, интерфейс для точных измерений абсолютных расстояний). Мы применяем метод, который объединяет данные UWB и IMU для точного вычисления положения руки. IMU-данные оказываются эффективными для отслеживания движения в пространстве, но существуют проблемы с дрёмлей. В то же время UWB позволяет определить абсолютное расстояние между двумя устройствами, обеспечивая более точное определение места расположения. Мы использовали технологию оценки позы в реальном времени, объединяя эти источники данных. ## Результаты Мы проводили эксперименты, чтобы оценить точность системы SmartPoser. Мы использовали широкий спектр движений рук, включая простые и сложные позы. Результаты показали, что наш метод дает median positional error of 11.0~cm при оценке расположения руки и cotovelo в реальном времени. Это достижение было получено без необходимости создания пользовательских данных для обучения, что делает нашу систему более удобной и гибкой. ## Значимость Наша система обладает широкими приложениями в различных сферах. Например, она может использоваться в fitness-приложениях для отслеживания упражнений, в системах реабилитации для отслеживания движений пациентов, в augmented reality для точного ввода, а также в life logging для подробного слежения за движениями. Преимуществом нашего подхода является то, что он не требует дополнительных устройств или определенной подготовки, что делает его более доступным для пользователей. Также, наш метод имеет перспективу для дальнейшего развития, включая улучшение точности

Abstract

The ability to track a user's arm pose could be valuable in a wide range of applications, including fitness, rehabilitation, augmented reality input, life logging, and context-aware assistants. Unfortunately, this capability is not readily available to consumers. Systems either require cameras, which carry privacy issues, or utilize multiple worn IMUs or markers. In this work, we describe how an off-the-shelf smartphone and smartwatch can work together to accurately estimate arm pose. Moving beyond prior work, we take advantage of more recent ultra-wideband (UWB) functionality on these devices to capture absolute distance between the two devices. This measurement is the perfect complement to inertial data, which is relative and suffers from drift. We quantify the performance of our software-only approach using off-the-shelf devices, showing it can estimate the wrist and elbow joints with a \hl{median positional error of 11.0~cm}, without the user having to provide training data.

Ссылки и действия

Связанные статьи

EclipseTouch: Touch Segmentation on Ad Hoc Surfaces using Worn Infrared Shadow C...

## Контекст Многие современные системы виртуальной и расширенной реальности (МР/МХР) стремятся обеспечить удобный и инте...

2025-09-05