Generalizable Domain Adaptation for Sim-and-Real Policy Co-Training

#### Контекст Научное исследование посвящено области робототехники и управления, в частности, развитию методов обучения политик манипулирования. Одна из основных проблем в этой области заключается в том, что получение реальных демонстраций манипуляций требует значительных финансовых и временных затрат. Моделирование в симуляторе предлагается как более сложный, но стоительный вариант. Однако существуют значительные различия между моделированием и реальным миром, что затрудняет передачу политик из симулятора в реальный мир. Данная работа адресует эту проблему, предлагая универсальный подход к обучению общих политик манипулирования, основанный на симуляции, но использующий только небольшое количество реальных демонстраций. #### Метод Предлагаемая методология основывается на координированном обучении в симуляции и реальном мире (sim-and-real co-training). Главным инсайтом является то, что обучение должно стремиться к созданию доменно-независимого и задачеподходящего пространства признаков. Для этого используется подход, основанный на Оптимальном Транспорте (Optimal Transport, OT). Оптимальный транспорт используется для выравнивания распределений наблюдений и действий в двух доменах — симуляции и реального мира. Для учета неравенства между обилием симуляционных данных и ограниченным числом реальных демонстраций, расширяется модель Unbalanced OT. Это позволяет добиться более эффективного обучения, учитывая неоднаковую количественную загрузку данных. #### Результаты На различных сложных задачах манипулирования показаны эксперименты, продемонстрировав выигрыш от применения предлагаемой модели. Например, в некоторых случаях удалось получить улучшение успешности манипуляций в реальном мире на 30%, сравниваясь с базовыми методами. Далее, показана возможность общеучительности политик — их успешное применение на сценариях, описанных только в симуляции, но не имеющих реального аналога. #### Значимость Предлагаемый подход имеет широкие возможности применения в сферах, где требуется обучение политик манипулирования со скромными затратами на реальные данные. Например, в производственных цепочках, в сфере охраны здоровья или в сервисных роботах. Особые преимущества открываются в области генерализируемости политик — возможности их использования в различных, даже неизвестных заранее, реальных сценариях, если они были протестированы в симуляции. #### Выводы Основным достижением является разработка метода обучения политик манипулирования, который успешно комбинирует симуляционные и реальные данные, чтобы обеспечить общеучительность и стабильность. Дальнейшие исследования б