Matrix-3D: Omnidirectional Explorable 3D World Generation

## Контекст Область исследования, связанная с описанием и генерацией трехмерных моделей миров, является ключевой задачей в сфере спатиальной интеллектуализации. Недавние работы используют видеомодели для достижения широкого круга и генеративности в 3D-генерации миров. Однако существующие подходы часто ограничены в объеме и детализации создаваемых сцен. Целью данной работы является развитие методологии, позволяющей генерировать развернутые и ориентированные на пользователя 3D-миры из одного изображения или текстового мотива, чтобы улучшить степень генеративности и степень детализации. ## Метод Разработан фреймворк Matrix-3D, который использует панорамные представления для широкомасштабной генерации 3D-миров, объединяя кондиционированное видеогенерирование и панорамное 3D-реконструктирование. Модель работает в двух этапах: первый этап заключается в обучении траектории-руководящей панорамной видео-диффузионной модели, использующей рендеры сцены в качестве условий. Это позволяет достичь высокого качества и геометрической консистентности в генерируемых видеосценах. Второй этап предполагает две трактовки: (1) прямое отображение панорамного видео в 3D-сцены с помощью готовой модели разделения глубины и (2) оптимизационный подход для получения более точных деталей в 3D-моделях. ## Результаты В работе проведены широкомасштабные эксперименты с использованием двух новых датасетов: Matrix-Pano (116K панорамных видеосцен) и Matrix-3D (10K комбинаций текста и изображений). Эксперименты показали, что фреймворк Matrix-3D превосходит существующие подходы в широкомасштабной генерации 3D-миров, достигая более высокого качества реконструкции и описания сцен. Особенно заметны выигрыши в геометрической консистентности и подробности сгенерированных моделей. ## Значимость Метод Matrix-3D может быть применен в различных областях, включая виртуальную реальность, игровые процессы, архитектурное проектирование и визуализацию. Одним из главных преимуществ является возможность генерировать 3D-сцены с высокой детализацией и широким кругом видимости из простых входных данных, таких как изображения или текст. Этот подход может повысить эффективность и гибкость в приложениях, требующих 3D-моделирования. ## Выводы Разработанная методология Matrix-3D достигла новых результатов в широкомасштабной 3D-генерации с высоким качеством и детализацией. Отмечено, что дальнейшие исследования будут направлены на улучшение точности моделей в тяжелых у