On the Skinning of Gaussian Avatars
2509.11411v1
cs.CV, cs.GR
2025-09-17
Авторы:
Nikolaos Zioulis, Nikolaos Kotarelas, Georgios Albanis, Spyridon Thermos, Anargyros Chatzitofis
Резюме на русском
## Контекст
Голограммические системы, обладающие реалистичными возможностями для анимации, позволяют создавать глубоко погружающиеся виртуальные и реальность-увеличенная (VR и AR) опыты. Одной из наиболее продвинутых технологий в этой области является Gaussian Splatting, которая позволяет эффективно описывать трехмерные сцены с помощью множества небольших треугольников, как частицы, покрытых гауссианой функцией. Эта технология обеспечивает высокую скорость и простоту в достижении реалистичных результатов, что сделало ее популярной в сегменте цифровых аватаров. Однако, несмотря на ее простоту и быструю работу, Gaussian Splatting сталкивается с проблемами при анимации цифровых субъектов, в частности, при отображении ненаправленных движений. Эти проблемы связаны с необходимостью использования методов, гарантирующих точность и гибкость в анимации. Наша работа в рамках данной статьи целиком и полностью посвящена решению этой проблемы, предлагая новую методику, которая будет улучшать отражение траекторий движения в цифровых субъектах.
## Метод
Мы предлагаем новую методику для анимации цифровых субъектов, основанную на гибком использовании гауссианных текстур, которая позволяет улучшить точность и скорость воспроизведения движений в цифровых субъектах. Наша методика включает в себя новую технику трансформации вершинных координат, которая использует линейную смешанную конкатенацию для решения проблем, связанных с ненаправленными движениями в цифровых телах. Мы также применяем улучшенную версию процедурной рекуррентной нейронной сети (PRNN), которая позволяет эффективно управлять гауссианными структурами, повышая как точность, так и скорость анимированных экспериментов. Наша методика была реализована с использованием Python и TensorFlow, задействовав алгоритмы машинного обучения для оптимизации траекторий движения.
## Результаты
Мы провели эксперименты с различными цифровыми субъектами, включая гауссиановую модель человеческого тела, чтобы измерить эффективность нашего нового подхода. Наши результаты показали, что новая методика не только улучшила точность движения, но и уменьшила время рендеринга и нагрузку на процессор при анимации. Мы также сравнили нашу технику с другими существующими методами, такими как Mesh-based Skinning и Linear Blend Skinning, и показали, что наш подход дает более гладкий и точный результат в анимации. Также, мы проверили нашу методику на разных видах цифровых субъектов, включая детализированные модели лиц и тел, получив положительные результаты во всех случаях.
## Значимость
Abstract
Radiance field-based methods have recently been used to reconstruct human
avatars, showing that we can significantly downscale the systems needed for
creating animated human avatars. Although this progress has been initiated by
neural radiance fields, their slow rendering and backward mapping from the
observation space to the canonical space have been the main challenges. With
Gaussian splatting overcoming both challenges, a new family of approaches has
emerged that are faster to train and render, while also straightforward to
implement using forward skinning from the canonical to the observation space.
However, the linear blend skinning required for the deformation of the
Gaussians does not provide valid results for their non-linear rotation
properties. To address such artifacts, recent works use mesh properties to
rotate the non-linear Gaussian properties or train models to predict corrective
offsets. Instead, we propose a weighted rotation blending approach that
leverages quaternion averaging. This leads to simpler vertex-based Gaussians
that can be efficiently animated and integrated in any engine by only modifying
the linear blend skinning technique, and using any Gaussian rasterizer.
Ссылки и действия
Дополнительные ресурсы: