SmartPoser: Arm Pose Estimation with a Smartphone and Smartwatch Using UWB and IMU Data
2509.03451v1
cs.HC, cs.CV, cs.GR, cs.RO
2025-09-05
Авторы:
Nathan DeVrio, Vimal Mollyn, Chris Harrison
Резюме на русском
## Контекст
Область трекинга мышечных поз пользователя находится в сердце многих технологических достижений, включая тренировки, реабилитацию, ввод в аugmented reality, life logging и контекстно-ауктуальные системы помощи. Однако существующие решения либо ограничены в области применения, либо сопряжены с значимыми проблемами. Например, системы, использующие камеры, испытывают серьезные затруднения в обеспечении приватности. Альтернативные методы, основанные на нескольких надетовшихся IMU-устройствах или маркерах, требуют дорогостоящего оборудования и не всегда гибки в использовании.
Мы подходим к этой проблеме с целью использовать доступное потребительское оборудование, в частности смартфоны и смарт-часы, для точного определения позы рук. Данная технология может потребоваться во многих сферах, включая фитнес-приложения и контекстно-ауктуальные системы.
## Метод
Мы разработали систему SmartPoser, которая использует две основные компоненты: смартфон и смарт-час. Эти устройства совмещают данные от датчиков IMU (импульсных датчиков движения) и новой функции UWB (ultra-wideband, интерфейс для точных измерений абсолютных расстояний).
Мы применяем метод, который объединяет данные UWB и IMU для точного вычисления положения руки. IMU-данные оказываются эффективными для отслеживания движения в пространстве, но существуют проблемы с дрёмлей. В то же время UWB позволяет определить абсолютное расстояние между двумя устройствами, обеспечивая более точное определение места расположения. Мы использовали технологию оценки позы в реальном времени, объединяя эти источники данных.
## Результаты
Мы проводили эксперименты, чтобы оценить точность системы SmartPoser. Мы использовали широкий спектр движений рук, включая простые и сложные позы. Результаты показали, что наш метод дает median positional error of 11.0~cm при оценке расположения руки и cotovelo в реальном времени. Это достижение было получено без необходимости создания пользовательских данных для обучения, что делает нашу систему более удобной и гибкой.
## Значимость
Наша система обладает широкими приложениями в различных сферах. Например, она может использоваться в fitness-приложениях для отслеживания упражнений, в системах реабилитации для отслеживания движений пациентов, в augmented reality для точного ввода, а также в life logging для подробного слежения за движениями.
Преимуществом нашего подхода является то, что он не требует дополнительных устройств или определенной подготовки, что делает его более доступным для пользователей. Также, наш метод имеет перспективу для дальнейшего развития, включая улучшение точности
Abstract
The ability to track a user's arm pose could be valuable in a wide range of
applications, including fitness, rehabilitation, augmented reality input, life
logging, and context-aware assistants. Unfortunately, this capability is not
readily available to consumers. Systems either require cameras, which carry
privacy issues, or utilize multiple worn IMUs or markers. In this work, we
describe how an off-the-shelf smartphone and smartwatch can work together to
accurately estimate arm pose. Moving beyond prior work, we take advantage of
more recent ultra-wideband (UWB) functionality on these devices to capture
absolute distance between the two devices. This measurement is the perfect
complement to inertial data, which is relative and suffers from drift. We
quantify the performance of our software-only approach using off-the-shelf
devices, showing it can estimate the wrist and elbow joints with a \hl{median
positional error of 11.0~cm}, without the user having to provide training data.