Prepare Before You Act: Learning From Humans to Rearrange Initial States

## Контекст Imitation learning (IL) широко применяется для сложных манипулятивных задач, но сталкивается с ограничениями при работе с выходными данными, находящимися вне распределения обучающей выборки. Например, IL-политики неэффективны при работе с нестандартными начальными состояниями, такими как неожиданная позиция объекта или его полное или частичное окклюзирование. В таких ситуациях необходимы дополнительные демонстрации, чтобы IL-системы могли обеспечить высокую универсальность и надежность. Подобные ситуации часто встречаются в повседневной жизни: люди отрегулировывают окружающую среду для упрощения выполнения задачи. Например, вращают кружку для того, чтобы легче было захватить его, или двигают препятствие, чтобы получить доступ к цели. Мы предлагаем моделировать подобное поведение у роботов, чтобы они могли подготавливать окружение перед выполнением задачи. ## Метод Мы предлагаем ReSET — алгоритм, который автоматически редактирует сцену перед тем, как запустить политику IL. Решение включает следующие этапы: 1. **Диагностика нестандартного начального состояния**: Мы оцениваем, насколько состояние входит в распределение, задействуя task-agnostic human teleoperation data и action-agnostic human videos. 2. **Предсказание подходящих действий**: Мы моделируем действия, которые мог бы применить человек для переразмещения объектов и упрощения задачи. 3. **Реализация роботом**: Мы преобразуем предложенные действия в примитивы роботом, используя существующую модель политики IL. Эта стратегия позволяет сократить общее число демонстраций, необходимое для устойчивой и общительной работы. ## Результаты Мы проводили эксперименты на виртуальных и реальных сценах с различными задачами манипуляции. Результаты показывают, что ReSET позволяет улучшить универсальность и надежность IL-политик при одинаковом объеме обучающих данных. Мы сравнивали нашу модель с Diffusion Policies, VLAs и другими базовыми алгоритмами. В результате ReSET показала более высокую точность и большую устойчивость при выполнении задач в нестандартных начальных состояниях. ## Значимость Вычислительные эксперименты и практические исследования показали, что ReSET может быть применен в многочисленных манипулятивных задачах, включая домашние и промышленные сценарии. Основные преимущества: - Улучшенная универсальность IL-политик. - Относительно низкий затратный подход для достижения высокой надежности. - Увеличение гибкости в работе в условиях нестандартных начальных состояний. ## Выводы Мы представили ReSET — алгоритм, который мотивирует роботы воспроизводить роль человека в подготовке окружающей среды для упрощения задач. Наши теоретические