RaC: Robot Learning for Long-Horizon Tasks by Scaling Recovery and Correction

#### Контекст Современные подходы к обучению роботов для выполнения задач длительного горизонта сталкиваются с рядом ограничений. Несмотря на то, что использование масштабных демонстраций, сборка данных с помощью телеоператоров и развитие выразительных архитектур политик позволяют достичь успеха в простых задачах, на практике работа роботов на трудных контактных, деформируемых объектах и длинных горизонтах задач остается неудовлетворительной. Даже при сборе тысяч экспертных демонстраций подходы, основанные на телеоператорах, оказываются неэффективными. Это возникает из-за того, что робот не может "учиться" из ошибок в реальном времени, а сбор данных ошибок требует многотысячных демонстраций, что повышает затраты на обучение. #### Метод Рассматривается новая методология обучения роботов, названная RaC (Recovery and Correction). Метод основывается на использовании роли людей в процессе обучения. Во время выполнения задачи робот, если возникает неполадка, оператор вмешивается, снимая робота с ошибки, затем возвращает его в "безопасное" состояние, а затем демонстрирует решение подзадачи. Таким образом, робот научится "учиться по ошибкам". Этот подход включает в себя моделирование не только основной политики, но и стратегий восстановления и корректировки. Эта архитектура позволяет роботу лучше понимать, как восстановиться после ошибки и выполнить задачу. #### Результаты Данный подход был проверен на нескольких реальных задачах: укладке белья, запечатывании шкафа, укладке тарелок и сборке. За счет внедрения RaC, робот оказался эффективнее, используя 10 раз меньше травмированных данных. На реальных задачах, робот повысил производительность, уменьшил количество ошибок и увеличил восстанавливаемость задачи. На симуляционной задаче сборки, рендеринг политики RaC показал более высокий уровень производительности и гибкости. #### Значимость Метод может быть применен в различных сферах, таких как промышленность, здравоохранение и домашний сервис. Он предоставляет выгоду в виде эффективности и надежности. Одной из основных преимуществ является снижение количества данных, необходимых для обучения, что позволяет существенно сократить время и стоимость развития роботных систем. #### Выводы Результаты показывают, что RaC значительно улучшает показатели обучения роботов в области длительных задач с контактными операциями. В дальнейшем будет продолжено исследование подходов для расширения возможностей роботов в реальном времени, с учетом более сложных сценариев и задач. Направления будущих исследований включают развитие моделей, способных лучше адаптирова