HOLODECK 2.0: Vision-Language-Guided 3D World Generation with Editing
2508.05899v1
cs.CV, cs.GR
2025-08-12
Авторы:
Zixuan Bian, Ruohan Ren, Yue Yang, Chris Callison-Burch
Резюме на русском
#### Контекст
3D сценогенерация является ключевым элементом в таких областях, как игровой промышленность, искусство, виртуальная реальность и дизайн. Однако создание 3D-сцен до сих пор требует больших усилий от создателей, а существующие автоматизированные методы сталкиваются с ограничениями в генерации свободного формата и возможностями редактирования. Эта проблема обусловлена тем, что требования к 3D-сценам в различных приложениях варьируются в зависимости от стиля, контекста и спецификаций пользователей. В этой работе мы предлагаем HOLODECK 2.0 — расширенную систему, основанную на технологиях видения и языка, для 3D-генерации миров с возможностью редактирования. Она позволяет генерировать сцены различных стилей (реалистичные, аниме, киберпанк), предназначенные для разных сред (внутренние и открытые), при этом сохраняя высокую семантическую точность.
#### Метод
HOLODECK 2.0 является усовершенствованной системой, которая использует технологии визуального распознавания и естественного языка для создания 3D-сцен. Она начинает с извлечения объектов из текстовых описаний с помощью Vision-Language Models (VLMs), а затем использует современные 3D-генеративные модели для создания высококачественных 3D-активов. Для построения координатных ограничений используются семантические задачи, которые обеспечивают корректность и физическую правдивость расположения объектов. Важным аспектом является возможность редактирования, которая позволяет пользователям изменять сцены в реальном времени, подстраивая их под свои потребности. Это достигается за счет интерактивного управления геометрическим расположением и стилем объектов.
#### Результаты
Мы провели эксперименты для оценки качества генерируемых сцен, использовав широкий спектр текстовых описаний. Результаты показывают, что HOLODECK 2.0 показывает высокую точность и стильную согласованность при генерации сцен в различных стилях. Мы также провели сравнение с другими методами, показав, что HOLODECK 2.0 показывает значительное преимущество в сфере реалистичности и корректности генерируемых сцен. Для тестирования возможностей редактирования мы провели испытания, в которых пользователи интерактивно модифицировали сцены, и получили положительные отзывы от пользователей.
#### Значимость
Предлагаемая система имеет широкие применения в игровой промышленности, виртуальной реальности, киноиндустрии и дизайне. Она позволяет эффективно создавать сцены, уменьшая потребность в ручными поправками. Также, возможности редактирования сцен позволяют пользователям ги
Abstract
3D scene generation plays a crucial role in gaming, artistic creation,
virtual reality and many other domains. However, current 3D scene design still
relies heavily on extensive manual effort from creators, and existing automated
methods struggle to generate open-domain scenes or support flexible editing. As
a result, generating 3D worlds directly from text has garnered increasing
attention. In this paper, we introduce HOLODECK 2.0, an advanced
vision-language-guided framework for 3D world generation with support for
interactive scene editing based on human feedback. HOLODECK 2.0 can generate
diverse and stylistically rich 3D scenes (e.g., realistic, cartoon, anime, and
cyberpunk styles) that exhibit high semantic fidelity to fine-grained input
descriptions, suitable for both indoor and open-domain environments. HOLODECK
2.0 leverages vision-language models (VLMs) to identify and parse the objects
required in a scene and generates corresponding high-quality assets via
state-of-the-art 3D generative models. It then iteratively applies spatial
constraints derived from the VLMs to achieve semantically coherent and
physically plausible layouts. Human evaluations and CLIP-based assessments
demonstrate that HOLODECK 2.0 effectively generates high-quality scenes closely
aligned with detailed textual descriptions, consistently outperforming
baselines across indoor and open-domain scenarios. Additionally, we provide
editing capabilities that flexibly adapt to human feedback, supporting layout
refinement and style-consistent object edits. Finally, we present a practical
application of HOLODECK 2.0 in procedural game modeling, generating visually
rich and immersive environments, potentially boosting efficiency.
Ссылки и действия
Дополнительные ресурсы: