MimicDreamer: Aligning Human and Robot Demonstrations for Scalable VLA Training

#### Контекст В области визуально-языковой активности (Vision Language Action, VLA) существует необходимость в больших и разнообразных наборах данных для эффективной политической подготовки. Однако собирать данные с реальных роботов остается дорогостоящим и трудоемким процессом. Вместо этого, видео-демонстрации людей набирают всё большую популярность в качестве стоимостно эффективных и масштабируемых вариантов для обучения VLA. Тем не менее, всё до сих пор существует существенный доменный шаг между видео, снятыми с людей, и видео, собранными с роботов. Эти различия включают в себя нестабильные точки зрения камеры, различия в визуальном восприятии рук людей и роботских курсоров, а также отличия в динамике движения. Наша цель — разработать метод, который бы превращал бы дешевые и быстрые демонстрации людей в робот-ориентированную наблюдательную подготовку, способную поддерживать политическую обучение. #### Метод Мы предлагаем MimicDreamer, фреймворк, который преобразовывает быстрые и низкостоимостные демонстрации людей в робот-подходящую наблюдательную подготовку. Для визуального выравнивания мы предлагаем H2R Aligner, видео-диффузионный модель, которая генерирует высококачественные робот-демонстрационные видео, передавая движение из кадров с человеческими манипуляциями. Для стабилизации точки зрения мы предлагаем EgoStabilizer, который канонизирует эгоцентрические видео с помощью гомографии и инпаинтит оккультации и деформации, вызванные этим процессом. Для выравнивания действий мы сопоставляем траектории человеческих пальцев к роботской системе координат и применяем ограниченный решатель обратной кинематики для производения бесшовных, мало-чихущих команд с точным положением. #### Результаты Мы использовали наши синтезированные видео-демонстрации людей-роботами для обучения VLA-моделей. Эти модели показали впечатляющие результаты в шести представительных манипуляционных задачах, считая роботом-управляемыми реальными роботами. Наши результаты показали увеличение процента успешных испытаний на 14,7% по сравнению с моделями, обученными только на традиционных роботских данных. Мы также показали, что наши синтезированные данные могут быть использованы для масштабного обучения VLA-моделей на основе новых человеческих демонстраций, снизив стоимость и ускорив процесс подготовки к политике. #### Значимость Мы видим применение нашего подхода в различных областях, включая автоматизацию, робототехнику, интерактивные системы, и даже развитие систем помощи для инвалидов. Мы предоставляем новый с