Заголовок: Perceive-Sample-Compress: Towards Real-Time 3D Gaussian Splatting В последние годы 3D Gaussian Splatting (3DGS) проявила свою мощь в реализации реального времени и фотореалистичной синтеза представления из новых точек зрения. Однако существующие подходы часто сталкиваются с проблемами управления большими сценами и эффективным хранением данных, особенно при работе с комплексными средами или ограниченными вычислительными ресурсами. В данной работе мы предлагаем Perceive-Sample-Compress — новый подход к решению этих проблем. Мы вводим метод компенсации видимости, который структурирует параметры Гауссовых оболочек на разных уровнях, обеспечивая при этом высокую четкость в ключевых областях и эффективное использование ресурсов. Для управления несколькими уровнями мы предлагаем пирамидальную структуру для Гауссовых примитивов. Наконец, мы предлагаем алгоритм сжатия Generalized Gaussian Mixed Model, позволяющий существенно уменьшить размер представления без потери качества. Наши эксперименты показали, что этот подход эффективно улучшает памятьное использование, повышает качество и поддерживает реального времени синтез.

Метод Лапласа, применяемый к динамическим сценам, предлагает решение проблем, связанных с низким разрешением и коллизиями при динамической моделировании в 3D-сплаттинге. Основная проблема заключается в том, что традиционные методы используют либо низкочастотные модели, которые приводят к затуханию деталей, либо высокочастотные модели, приводящие к коллизиям при движении. Разработанный метод решает эту проблему с помощью гибридной модели, объединяющей в себе эксплицитные и имплицитные функции. Он включает в себя архитектуру спектрального контроля, использующую хэш-кодирование и модуль Лапласа для гибкого управления частотой движения, а также дополнительные атрибуты динамики, устраняющие фотометрические расхождения. Также введена эффективная стратегия оптимизации, основанная на KDTree, для эффективного решения проблемы динамического зрения. Проведенные эксперименты показали, что предлагаемый подход демонстрирует лучшую точность восстановления динамических сцен по сравнению с предыдущими методами.

Аудио-синхронизированная портретная анимация является важной задачей, связанной с генерацией реалистичных и синхронных видеопортретов, активируемых аудиосигналом. Однако существующие решения сталкиваются с трудностями в реализации действительно реального времени (real-time), возникающими из-за высокой сложности вычислений и недостаточной точности методов моделирования. В статье предлагается RAP (Real-time Audio-driven Portrait animation) — новый подход, который объединяет высокую точность в контроле аудиосигнала и эффективность вычислений. Основные инновации RAP заключаются в использовании гибридной автопереносной механизма для тонкого аудио-управления и в статик-динамической модели, которая устраняет необходимость в прямом моделировании движения, а также позволяет избежать терминального временного расхождения. Результаты экспериментов показали, что RAP достигает нового состояния искусства в реальном времени, сохраняя высокую визуальную фидлитей и синхронность аудио-визуального сигнала. Это делает RAP применимым для реального времени, что открывает новые возможности для приложений, таких как видеоконференц-связь и виртуальная реальность.

**Резюме** Целью работы является развитие методов сегментации 3D-объектов для моделирования одетого человека с необходимостью учитывать сложные взаимоотношения между подкладкой и одеждой. Традиционные методы сегментации предполагают дискретные, непересекающиеся классы, что не хватает для полного моделирования одетого человека. В этой работе предлагается новый подход, позволяющий каждой точке 3D-скана принадлежать нескольким слоям одежды одновременно. Этот подход, названный clothed human layering, позволяет определять подкладку и области одежды, скрытые под верхними слоями. Для поддержки исследований разработан новый синтетический датасет с реалистичными 3D-сканами и метками слоёв одежды. Исследования показали, что предложенный подход существенно повышает точность сегментации на обоих синтетических и реальных данных. Таким образом, предложенный метод является прорывом в моделировании одетого человека и может быть применён в сферах, таких как моделирование и анимация.

Исследователи предлагают метод физически контролируемого переосвещения фотографий, который объединяет точность традиционного рендеринга с фотореализмом нейрографики. Основная проблема заключается в том, что существующие способы переосвещения требуют ручного настройки или неттонных данных, что ограничивает их применение в реальных сценах. Предложенное решение включает монокулярное определение геометрии и интринсических компонент сцены, позволяя пользователю определять освещение в 3D. Затем используется дифференцируемый рендеринг для реконструкции иллюминации и обучения нейронного рендерера в самостоятельном режиме. Результат — система, обеспечивающая контроль над источниками света в 3D и фотографический результат. Основные выводы: метод позволяет легко редактировать освещение в сложных сценах, делая его более точным и фотореалистичным.