SOE: Sample-Efficient Robot Policy Self-Improvement via On-Manifold Exploration

## Контекст В становление интеллектуальных агентов играет ключевая роль их постоянное развитие, которое происходит благодаря активному исследованию окружающей среды. Однако уровень эффективности самосовершенствования в robot policies часто ограничивается действиями, происходящими в узких границах локальных минимумов, что приводит к сокращению их динамического потенциала. Это происходит в силу недостатка возможностей для эффективного и безопасного исследования новых решений в пространстве действий. Одной из основных проблем является action mode collapse, когда система становится обременена слишком ограниченным набором действий, и она не может эффективно исследовать новые варианты. Несмотря на развитие методов поощрения исследования, таких как random perturbations, эти подходы часто оказываются небезопасными, вызывают неустойчивые и непредсказуемые поведения. Необходимо разработать метод, который обеспечит безопасность, эффективность и диверсификацию в процессе исследования, чтобы улучшить процесс самоподвижности robot policies. ## Метод Мы предлагаем Self-Improvement via On-Manifold Exploration (SOE), новую фреймворк для формирования и улучшения robot policies, который работает в структурированном пространстве действий. SOE учитывает задачи и ограничивает исследование в пределах компактного latent representation важных для задачи факторов. Это позволяет ограничивать прирост новых действий внутри множества закономерностей, гарантируя безопасность, эффективность и естественное действование. SOE может быть легко запущен в сочетании с любыми политическими моделями в качестве дополнительного модуля. Такая интеграция позволяет повысить эффектность исследований, не вредя основной модели. Особенностью SOE является его возможность поддержки интуитивного управления человеком, что дает стратегическую гибкость в процессе развития политики. ## Результаты Мы провели эксперименты в симуляционных средах и реальном мире, чтобы проверить эффективность SOE. Наша система была протестирована на нескольких robotic manipulation задачах, в том числе в сложных условиях. Мы сравнивали результаты SOE с популярными подходами, такими как EPOpt, PPO, и CPO. Результаты показали, что SOE демонстрирует значительное улучшение в task success rate (до 15% по сравнению с EPOpt), выполняет более устойчивое и безопасное исследование, при этом имеет высокую sample efficiency. Благодаря структурированному пространству действий SOE обеспечивает безопасность и гибкость, давая пользователям большую возможность контроля и гибкости в процессе работы. ## Значимость SOE может применяться в различных областях, таких как robotic manipulation, autonomous navigation, и даже в решении задач в отраслях, где необходимо э