From Skin to Skeleton: Towards Biomechanically Accurate 3D Digital Humans
2509.06607v1
cs.GR, cs.CV
2025-09-10
Авторы:
Marilyn Keller, Keenon Werling, Soyong Shin, Scott Delp, Sergi Pujades, C. Karen Liu, Michael J. Black
Резюме на русском
#### Контекст
Область исследования, связанная с анализом и моделированием человеческого тела, находится в центре внимания многих научных и практических направлений. На сегодняшний день широко распространены параметрические модели человеческого тела (например, модель SMPL), которые обеспечивают удобный способ позиционирования и описания человеческого тела в трехмерном пространстве. Однако существуют значительные проблемы с этими моделями. Они часто используют схемы костного разделения, которые не совпадают с реальной анатомией человеческого скелета. Это ограничивает их применение в области биомеханики, где точное соответствие анатомических компонентов критично. Этот факт поднимает вопрос о том, как создать более точную и биомеханически аккуратную модель человеческого тела, которую можно было бы легко использовать для предсказания движений и анализа биомеханики.
#### Метод
Мы предлагаем новую модель, названную **SKEL**, которая представляет собой реконструкцию параметрической модели SMPL с биомеханически аккуратным скелетом. Методология включает несколько ключевых этапов:
1. **Сбор данных**: Мы используем последовательности движений из набора данных AMASS, чтобы оптимизировать скелетную структуру внутри модели SMPL, сохраняя биомеханическую точность.
2. **Обучение регрессора**: Мы обучаем нейронную сеть для предсказания локаций суставов и углов разворота костей на основе данных от SMPL-модели.
3. **Перестройка модели**: Мы перестраиваем SMPL-модель с новыми параметрами, чтобы получить модель SKEL, позволяющую анимировать скелет, как это делается в SMPL, но с меньшим числом степеней свободы и более точным соответствием реальной анатомии.
Этот подход позволяет улучшить точность описания движений, особенно в сферах, где важно соблюдение биомеханических принципов, таких как движение и позвоночная система.
#### Результаты
Мы провели эксперименты, сравнивая нашу модель с SMPL на основе различных показателей:
- **Точность расположения суставов**: SKEL демонстрирует значительно более точное расположение суставов по сравнению с SMPL.
- **Соответствие скелету телу**: Наши результаты показывают, что кости, созданные в рамках модели SKEL, лучше подходят для описания трехмерной модели тела, чем при использовании SMPL.
- **Простота использования**: Модель SKEL, благодаря своей архитектуре, легко интегрируется в существующие потоки работы в области визуализации и биомеханики.
Эти результаты подтверждают, что SKEL представляет собой значительный прогресс в области моделирования человеческого тела, который может быть исполь
Abstract
Great progress has been made in estimating 3D human pose and shape from
images and video by training neural networks to directly regress the parameters
of parametric human models like SMPL. However, existing body models have
simplified kinematic structures that do not correspond to the true joint
locations and articulations in the human skeletal system, limiting their
potential use in biomechanics. On the other hand, methods for estimating
biomechanically accurate skeletal motion typically rely on complex motion
capture systems and expensive optimization methods. What is needed is a
parametric 3D human model with a biomechanically accurate skeletal structure
that can be easily posed. To that end, we develop SKEL, which re-rigs the SMPL
body model with a biomechanics skeleton. To enable this, we need training data
of skeletons inside SMPL meshes in diverse poses.
We build such a dataset by optimizing biomechanically accurate skeletons
inside SMPL meshes from AMASS sequences. We then learn a regressor from SMPL
mesh vertices to the optimized joint locations and bone rotations. Finally, we
re-parametrize the SMPL mesh with the new kinematic parameters. The resulting
SKEL model is animatable like SMPL but with fewer, and
biomechanically-realistic, degrees of freedom. We show that SKEL has more
biomechanically accurate joint locations than SMPL, and the bones fit inside
the body surface better than previous methods. By fitting SKEL to SMPL meshes
we are able to "upgrade" existing human pose and shape datasets to include
biomechanical parameters. SKEL provides a new tool to enable biomechanics in
the wild, while also providing vision and graphics researchers with a better
constrained and more realistic model of human articulation. The model, code,
and data are available for research at https://skel.is.tue.mpg.de..
Ссылки и действия
Дополнительные ресурсы: