From Skin to Skeleton: Towards Biomechanically Accurate 3D Digital Humans

2509.06607v1 cs.GR, cs.CV 2025-09-10
Авторы:

Marilyn Keller, Keenon Werling, Soyong Shin, Scott Delp, Sergi Pujades, C. Karen Liu, Michael J. Black

Резюме на русском

#### Контекст Область исследования, связанная с анализом и моделированием человеческого тела, находится в центре внимания многих научных и практических направлений. На сегодняшний день широко распространены параметрические модели человеческого тела (например, модель SMPL), которые обеспечивают удобный способ позиционирования и описания человеческого тела в трехмерном пространстве. Однако существуют значительные проблемы с этими моделями. Они часто используют схемы костного разделения, которые не совпадают с реальной анатомией человеческого скелета. Это ограничивает их применение в области биомеханики, где точное соответствие анатомических компонентов критично. Этот факт поднимает вопрос о том, как создать более точную и биомеханически аккуратную модель человеческого тела, которую можно было бы легко использовать для предсказания движений и анализа биомеханики. #### Метод Мы предлагаем новую модель, названную **SKEL**, которая представляет собой реконструкцию параметрической модели SMPL с биомеханически аккуратным скелетом. Методология включает несколько ключевых этапов: 1. **Сбор данных**: Мы используем последовательности движений из набора данных AMASS, чтобы оптимизировать скелетную структуру внутри модели SMPL, сохраняя биомеханическую точность. 2. **Обучение регрессора**: Мы обучаем нейронную сеть для предсказания локаций суставов и углов разворота костей на основе данных от SMPL-модели. 3. **Перестройка модели**: Мы перестраиваем SMPL-модель с новыми параметрами, чтобы получить модель SKEL, позволяющую анимировать скелет, как это делается в SMPL, но с меньшим числом степеней свободы и более точным соответствием реальной анатомии. Этот подход позволяет улучшить точность описания движений, особенно в сферах, где важно соблюдение биомеханических принципов, таких как движение и позвоночная система. #### Результаты Мы провели эксперименты, сравнивая нашу модель с SMPL на основе различных показателей: - **Точность расположения суставов**: SKEL демонстрирует значительно более точное расположение суставов по сравнению с SMPL. - **Соответствие скелету телу**: Наши результаты показывают, что кости, созданные в рамках модели SKEL, лучше подходят для описания трехмерной модели тела, чем при использовании SMPL. - **Простота использования**: Модель SKEL, благодаря своей архитектуре, легко интегрируется в существующие потоки работы в области визуализации и биомеханики. Эти результаты подтверждают, что SKEL представляет собой значительный прогресс в области моделирования человеческого тела, который может быть исполь

Abstract

Great progress has been made in estimating 3D human pose and shape from images and video by training neural networks to directly regress the parameters of parametric human models like SMPL. However, existing body models have simplified kinematic structures that do not correspond to the true joint locations and articulations in the human skeletal system, limiting their potential use in biomechanics. On the other hand, methods for estimating biomechanically accurate skeletal motion typically rely on complex motion capture systems and expensive optimization methods. What is needed is a parametric 3D human model with a biomechanically accurate skeletal structure that can be easily posed. To that end, we develop SKEL, which re-rigs the SMPL body model with a biomechanics skeleton. To enable this, we need training data of skeletons inside SMPL meshes in diverse poses. We build such a dataset by optimizing biomechanically accurate skeletons inside SMPL meshes from AMASS sequences. We then learn a regressor from SMPL mesh vertices to the optimized joint locations and bone rotations. Finally, we re-parametrize the SMPL mesh with the new kinematic parameters. The resulting SKEL model is animatable like SMPL but with fewer, and biomechanically-realistic, degrees of freedom. We show that SKEL has more biomechanically accurate joint locations than SMPL, and the bones fit inside the body surface better than previous methods. By fitting SKEL to SMPL meshes we are able to "upgrade" existing human pose and shape datasets to include biomechanical parameters. SKEL provides a new tool to enable biomechanics in the wild, while also providing vision and graphics researchers with a better constrained and more realistic model of human articulation. The model, code, and data are available for research at https://skel.is.tue.mpg.de..

Ссылки и действия