MesaTask: Towards Task-Driven Tabletop Scene Generation via 3D Spatial Reasoning
2509.22281v1
cs.CV, cs.RO
2025-09-30
Авторы:
Jinkun Hao, Naifu Liang, Zhen Luo, Xudong Xu, Weipeng Zhong, Ran Yi, Yichen Jin, Zhaoyang Lyu, Feng Zheng, Lizhuang Ma, Jiangmiao Pang
Резюме на русском
## Контекст
Табличные сцены, состоящие из различных предметов, являются важной частью интерактивных систем для роботов, включая помощью в повседневных задачах. Однако создание таких сцен, которые были бы взаимосвязаны с задачами и реалистичными, остается вызовом. Традиционные подходы, такие как ручное размещение объектов или рандомизированные методы, либо требуют много времени, либо недостаточно реалистичны и не достаточно связаны с задачами. Мы предлагаем формулировать задачу генерации табличных сцен, ориентированных на задачи, чтобы улучшить процесс создания таких сцен. Эта задача требует продвинутого подхода, который может воссоздать реальные табличные сцены, которые соответствуют заданным задачам.
## Метод
Мы предлагаем архитектуру, называемую Spatial Reasoning Chain, которая разделяет процесс генерации на три этапа: инференция объектов, разумление пространственных связей, и построение сценны графа. Эта цепочка применяется для построения 3D-макета сцены. Мы также предлагаем MesaTask, которая использует LLM (Large Language Model) для улучшения процесса генерации сцен. Для обеспечения реалистичности и физической правдоподобности, мы используем DPO (Differentiable Physics Optimization), чтобы создать табличные сцены, которые соответствуют заданным задачам.
## Результаты
Мы провели эксперименты с MesaTask, сравнив ее с другими подходами. Мы использовали нашу новую синтетическую табличную сцену, MesaTask-10K, которая состоит из 10,700 сцен, где каждая сцена была структурирована с помощью ручного размещения. Результаты показывают, что MesaTask превосходит существующие подходы в создании табличных сцен, которые лучше соответствуют заданным задачам. Мы также проверили, что наш подход может генерировать табличные сцены, которые не только выглядят реалистично, но и хорошо соответствуют задачам.
## Значимость
Наша работа имеет значительные приложения в сфере роботов, а также в различных областях, таких как виртуальная реальность и игровые системы. Метод, который мы предлагаем, может быть использован для улучшения процесса создания табличных сцен, которые могут использоваться для обучения моделей, проверки систем, и даже для помощи в разработке новых задач. Мы также продемонстрировали, что наш подход может быть использован для решения сложных задач, которые требуют глубокого понятия пространственных отношений и логики.
## Выводы
Мы представляем MesaTask, новую методику для решения задачи генерации табличных сцен, ориентированных на задачи. Мы продемонстрировали, что наш подход превосходит существующие подходы в создании табличных сцен, которые соответствуют заданным задачам. М
Abstract
The ability of robots to interpret human instructions and execute
manipulation tasks necessitates the availability of task-relevant tabletop
scenes for training. However, traditional methods for creating these scenes
rely on time-consuming manual layout design or purely randomized layouts, which
are limited in terms of plausibility or alignment with the tasks. In this
paper, we formulate a novel task, namely task-oriented tabletop scene
generation, which poses significant challenges due to the substantial gap
between high-level task instructions and the tabletop scenes. To support
research on such a challenging task, we introduce MesaTask-10K, a large-scale
dataset comprising approximately 10,700 synthetic tabletop scenes with manually
crafted layouts that ensure realistic layouts and intricate inter-object
relations. To bridge the gap between tasks and scenes, we propose a Spatial
Reasoning Chain that decomposes the generation process into object inference,
spatial interrelation reasoning, and scene graph construction for the final 3D
layout. We present MesaTask, an LLM-based framework that utilizes this
reasoning chain and is further enhanced with DPO algorithms to generate
physically plausible tabletop scenes that align well with given task
descriptions. Exhaustive experiments demonstrate the superior performance of
MesaTask compared to baselines in generating task-conforming tabletop scenes
with realistic layouts. Project page is at https://mesatask.github.io/
Ссылки и действия
Дополнительные ресурсы: