Multi-Group Equivariant Augmentation for Reinforcement Learning in Robot Manipulation

## Контекст Использование визуально-моторных систем в реальном мире требует высокой эффективности семплинга для обучения моделей в ситуациях, где визуальные сигналы и моторные действия должны быть однозначно сопоставлены. Одной из подходящих индикуирующих моделей является симметрия задачи. Несмотря на то, что изометрические симметрии (применение одной и той же групповой трансформации ко всем объектам задачи на всех моментах времени) используются в многих работах, они не полностью учитывают неоднородные симметрии, которые могут присутствовать в реальных сценариях. Наша мотивация заключается в изучении неизометрических симметрий, которые могут улучшить эффективность обучения в системах-роботах. ## Метод Мы предлагаем новую формализацию частично наблюдаемого марковского процесса (POMDP), которая включает неизометрические симметрии. Эти симметрии учитывают различные групповые трансформации в пространственном и временном пространстве. Мы представляем метод Multi-Group Equivariance Augmentation (MEA), который использует несколько групповых трансформаций для применения разнообразия в обучающих данных. Для оценки симметрий мы предлагаем вольный вариант представления в виде ячеек, который сохраняет трансляционную эквивалентность. Метод MEA интегрируется с методом офлайн-реинфорсмента для повышения эффективности семплинга. ## Результаты Мы проводим эксперименты в двух сценариях манипуляции: доступ к железной лопате и управление робот-рукой. Для обучения используются данные симуляции с различными групповыми трансформациями. Мы сравниваем результаты MEA с существующими методами, такими как традиционные симметрии и без них. Обнаружено, что MEA позволяет улучшить эффективность семплинга и повысить точность обучения в ситуациях, где симметрии задачи неизометричны. Это достигается благодаря включению множественных групповых трансформаций и новым представлениям визуальных данных. ## Значимость Метод MEA может применяться в ситуациях, где требуется эффективное обучение визуально-моторных моделей, например, в системах-роботах, комплексных манипуляциях, где объекты имеют нестандартные симметрии. Он также может быть использован при отсутствии доступа к всеобъемлющим данным или когда требуется улучшение эффективности обучения. Наш подход может сделать системы-роботы более устойчивыми к различным условиям и увеличить их универсальность. ## Выводы Мы установили, что неизометрические симметрии могут значительно улучшить эффективност