From Tabula Rasa to Emergent Abilities: Discovering Robot Skills via Real-World Unsupervised Quality-Diversity

## Контекст Автоматическое развитие способностей роботов является ключевым заданием для создания универсальных и эффективных систем автономного робототехнического управления. Однако, современные методы требуют вмешательства человека для определения целей и параметров обучения. Такая зависимость от человеческого вмешательства ограничивает робота в своей способности адаптироваться к нестандартным и непредсказуемым ситуациям. Более того, обучение на физической робот-платформе требует крупных объемов данных и жесткого контроля за безопасностью, что затрудняет развитие эффективных методов для обнаружения многообразия возможных робот-ситуаций. Эта статья предлагает расширенный подход к самостоятельному развитию робот-способностей в реальном мире, который уменьшает необходимость вручную настраивать цели и ограничения. ## Метод Мы предлагаем метод, названный Unsupervised Real-World Skill Acquisition (URSA), расширенное расширение существующего Quality-Diversity Actor-Critic (QDAC). URSA объединяет механизм генерации разнообразия с автономным обнаружением робот-способностей в реальном мире, не требуя человеческого вмешательства. У нас есть две основные операции: 1) поиск потенциальных способностей робота в реальном мире с помощью новых техник оптимизации, и 2) поддержка этих способностей с помощью легковесного моделирования, которое позволяет роботу измерять эффективность своих действий. URSA также может работать в тех случаях, когда сбор данных должен быть быстрым и эффективным, чтобы обеспечить безопасность и высокую производительность. ## Результаты Мы провели эксперименты, в которых робот-управляемый Unitree A1 прошел специально сконструированные тесты в симуляции и реальном мире. Мы сравнивали URSA с тремя существующими методами, включая QDAC. Результаты показывают, что URSA не только выполняет достижение разнообразных робот-способностей, но и обеспечивает высокую производительность в обнаружении способностей в реальном мире. Например, URSA удалось выявить более 10 различных робот-способностей на Unitree A1, в том числе стойкость к повреждениям и повышенную локальную мобильность. Кроме того, URSA показал себя эффективнее всех остальных методов в сценариях с различными видами повреждений, из-за того, что он может адаптироваться к новым условиям без требования человеческого вмешательства. ## Значимость Наш метод может быть применен в различных сферах, включая автономное робототехническое управление, организацию производственных задач, а также в области роботов-компаньонов, которые должны самос