Unifi3D: A Study on 3D Representations for Generation and Reconstruction in a Common Framework

## Контекст Ускоряющиеся достижения в области текстовой и изображениягенерации привели к значительному вниманию к 3D-генерации. В отличии от устоявшегося пиксельного представления в изображениях, 3D-представления остаются разнообразными и декомпозированными. Они включают такие подходы, как воксельные графы, нейросетевые радиационные поля, сигнид-даистанс-функции, точечные облака и октиры. Каждый подход имеет свои преимущества и ограничения. В данной работе мы предлагаем общую оценочную систему для анализа 3D-представлений по таким критериям, как качество, эффективность вычислений и универсальность. Мы рассматриваем не только процесс оценки моделей, но и все этапы 3D-генерации, включая предобработку, восстановление моделей, сжатие с помощью автокодировщиков и генерацию. Наши результаты показывают, что ошибки восстановления сильно влияют на получаемый результат, что делает необходимым оценивать генерацию и восстановление вместе. Мы даем рекомендации для выбора 3D-моделей в зависимости от конкретных задач, поддерживая развитие универсальных и прикладно-специфичных решений в 3D-генерации. Наш код доступен по адресу: https://github.com/isl-org/unifi3d. ## Метод Мы предложили общую оценочную систему, которая оценивает 3D-представления по нескольким критериям. Эта система использует несколько типов 3D-моделей, включая воксельные графы, радиационные поля, точечные облака и др. Мы разработали тестовые наборы данных для эталонного сравнения 3D-объектов, чтобы измерить качество восстановления, эффективность и универсальность. Наши эксперименты включили стандартные модели, которые прошли ряд этапов, таких как предобработка, реконструкция моделей, сжатие данных с помощью автокодировщиков и последующая генерация. Наша методология рассматривает взаимодействие этих этапов и определяет лучшие практики для каждого из них. Мы также проанализировали, как различные 3D-представления влияют на качество и производительность в целом. Это позволило нам выделить преимущества и недостатки каждого подхода в различных сценариях. ## Результаты Мы провели ряд экспериментов с различными 3D-представлениями, такими как воксели, радиационные поля и точечные облака. Наши результаты показали, что качество восстановления сильно зависит от того, как хорошо представлено 3D-представление. Мы обнаружили, что модели с более точным восстановлением показали лучшие результаты в целом. Также, мы обнаружили, что сжатие данных имеет значительное влияние на качество результатов. Наши эксперименты показали, что лучшие резуль