DreamControl: Human-Inspired Whole-Body Humanoid Control for Scene Interaction via Guided Diffusion

2509.14353v1 cs.RO, cs.AI, cs.LG 2025-09-20
Авторы:

Dvij Kalaria, Sudarshan S Harithas, Pushkal Katara, Sangkyung Kwak, Sarthak Bhagat, Shankar Sastry, Srinath Sridhar, Sai Vemprala, Ashish Kapoor, Jonathan Chung-Kuan Huang

Резюме на русском

#### Контекст Общение с обстановкой — сделать научнай статья DreamControl: Human-Inspired Whole-Body Humanoid Control for Scene Interaction via Guided Diffusion — полностью на русском языке. Данная работа посвящена развитию нового подхода к обучению автономных движений роботов-антропоидов, использующих принципы гуман-инспирированного поведения. В центре внимания — использование diffusion models (diffusion-моделей) и reinforcement learning (RL) для обучения роботам выполнять задачи в сценах, взаимодействуя с предметами. Эта технология может увеличить эффективность и естественность движений роботов, а также облегчить их адаптацию к реальному миру. #### Метод Метод DreamControl объединяет в себе diffusion models с reinforcement learning (RL). Первое, что стоит отметить, это использование diffusion prior, обученного на данных человеческого движения. Этот модельный предварительный результат помогает RL-системе выбирать наиболее подходящие решения для задач, например, открытия ящика или взятия предмета. Второй важный момент — diffusion models способствуют более естественному движению робота, что упрощает процесс перехода от симуляции к реальной среде (sim-to-real). Это сочетание позволяет RL-системе решать задачи, недоступные при прямом обучении. #### Результаты Эксперименты проводились на роботе Unitree G1, который выполнял различные сложные задачи, включая взаимодействие с объектами и координированное движение верхнего и нижнего тела. Результаты показали, что система DreamControl эффективно решает задачи, используя принципы гуман-инспирированного движения. Это подтверждает эффективность diffusion prior'а и diffusion models в обеспечении естественных движений и успешного перехода из симуляции в реальную среду. Результаты экспериментов показывают, что DreamControl может решать задачи, которые были бы вызовом для RL в одиночку. #### Значимость DreamControl открывает новые возможности в области обучения роботов-антропоидов. Он может применяться в различных сферах: промышленности, робототехнике, автоматизации и даже в здравоохранении. Основные преимущества заключаются в том, что метод обучает роботов выполнять естественные движения, чтобы они могли быстро адаптироваться к реальным условиям. Это может привести к более эффективной и безопасной работе в различных сценариях. #### Выводы Полученные результаты подтверждают эффективность DreamControl в обучении роботов-антропоидов выполнять сложные задачи. Это подтверждает значимость diffusion models в создании естественного движения и улучшения sim-to-real transfer. Будущие исследования будут сконцентрированы на расширении возможностей системы, улучшении точности и устойчивости, а также на её применении в различных реальных сценариях. Исследования также будут направлены на улучшение адаптации роботов в нестандартных и непредсказу

Abstract

We introduce DreamControl, a novel methodology for learning autonomous whole-body humanoid skills. DreamControl leverages the strengths of diffusion models and Reinforcement Learning (RL): our core innovation is the use of a diffusion prior trained on human motion data, which subsequently guides an RL policy in simulation to complete specific tasks of interest (e.g., opening a drawer or picking up an object). We demonstrate that this human motion-informed prior allows RL to discover solutions unattainable by direct RL, and that diffusion models inherently promote natural looking motions, aiding in sim-to-real transfer. We validate DreamControl's effectiveness on a Unitree G1 robot across a diverse set of challenging tasks involving simultaneous lower and upper body control and object interaction.

Ссылки и действия