Puppeteer: Rig and Animate Your 3D Models
2508.10898v1
cs.CV, cs.GR
2025-08-16
Авторы:
Chaoyue Song, Xiu Li, Fan Yang, Zhongcong Xu, Jiacheng Wei, Fayao Liu, Jiashi Feng, Guosheng Lin, Jianfeng Zhang
Резюме на русском
## Контекст
Современные интерактивные приложения широко используют 3D-контент, но создание динамического 3D-контента остается трудоемким и затратным процессом. Одной из основных проблем является необходимость преобразования статических 3D-моделей в анимированные активы. Этот процесс, известный как "rigging" и "анимация", требует специальных знаний и инструментов, что затрудняет его автоматизацию. Особенно сложно сделать это для разнообразных 3D-объектов, включая игровые модели, символы и реалистичные объекты. Исследователи пытались решить эту проблему с помощью машинного обучения, однако существующие подходы обычно ограничиваются одним или несколькими типами 3D-объектов и имеют ограниченную точность и качество.
## Метод
Мы предлагаем Puppeteer, полностью автоматизированный фреймворк для rigging и анимации 3D-моделей. Работа фреймворка основывается на трех ключевых компонентах:
1. **Авто-регрессивный трансформер с новой техникой токенизации**: Он использует новую технику токенизации, основанную на скелетных узлах, что позволяет эффективно представить структуру скелета. Также вводится метод организации последовательностей, который улучшает возможности обучения в двух направлениях.
2. **Архитектура внимания для определения весов скининга**: Эта часть использует топологически основанное внимание, которое учитывает расстояния между узлами скелета, чтобы точно определить взаимосвязи между узлами.
3. **Разностициальный подход для анимации**: Мы предлагаем разностициальный подход, основанный на оптимизации, для создания анимации. Он использует физические модели для получения стабильных и высококачественных анимаций.
## Результаты
Мы проводили опытные эксперименты с несколькими 3D-моделями, включая профессионально созданные модели для игр и AI-генерируемые объекты. Наши результаты показали, что Puppeteer превосходит существующие методы в следующих аспектах:
- **Точность трансформации**: Наша система точно определяет скелеты для разнообразных 3D-объектов.
- **Качество скининга**: Метод внимания-топологии позволяет получить точные веса скининга, что влечет более гладкие и точные анимации.
- **Качество анимации**: Разностициальный подход извлекает более стабильные анимации, снижая проблемы jittering и неточностей в сравнении с другими методами.
## Значимость
Puppeteer может быть применен в различных областях, включая игровое производство, виртуальную реальность, виртуальные конференции и даже робототехнику. Он обеспечивает высокую точность, качество и удобство в со
Abstract
Modern interactive applications increasingly demand dynamic 3D content, yet
the transformation of static 3D models into animated assets constitutes a
significant bottleneck in content creation pipelines. While recent advances in
generative AI have revolutionized static 3D model creation, rigging and
animation continue to depend heavily on expert intervention. We present
Puppeteer, a comprehensive framework that addresses both automatic rigging and
animation for diverse 3D objects. Our system first predicts plausible skeletal
structures via an auto-regressive transformer that introduces a joint-based
tokenization strategy for compact representation and a hierarchical ordering
methodology with stochastic perturbation that enhances bidirectional learning
capabilities. It then infers skinning weights via an attention-based
architecture incorporating topology-aware joint attention that explicitly
encodes inter-joint relationships based on skeletal graph distances. Finally,
we complement these rigging advances with a differentiable optimization-based
animation pipeline that generates stable, high-fidelity animations while being
computationally more efficient than existing approaches. Extensive evaluations
across multiple benchmarks demonstrate that our method significantly
outperforms state-of-the-art techniques in both skeletal prediction accuracy
and skinning quality. The system robustly processes diverse 3D content, ranging
from professionally designed game assets to AI-generated shapes, producing
temporally coherent animations that eliminate the jittering issues common in
existing methods.
Ссылки и действия
Дополнительные ресурсы: