End-to-end RL Improves Dexterous Grasping Policies

## Контекст Декстерозная хватка — это ключевой аспект робототехнических систем, который позволяет манипулятору успешно прихватить предметы различных форм и текстур. Однако достижение высокой точности в декстерозной хватке с использованием изображений — задача, требующая оптимального баланса между эффективностью и точностью. Традиционные подходы часто требуют разделения обучения: начальная стадия обучения производится в виртуальной среде, а последующая — на реальном оборудовании. Такой подход имеет ряд ограничений, включая несовместимость запатентованных моделей и ограниченный размер данных. Этот рабочий ход не только затратный, но и неэффективен. Наша мотивация заключается в развитии методов, позволяющих эффективно обучать декстерозные хватки с использованием изображений в виртуальной среде, с меньшим количеством переключений между реальной и виртуальной средами. ## Метод Мы предлагаем использовать **энд-то-энд RL (End-to-End Reinforcement Learning)** для обучения декстерозных хватков на основе изображений, что позволяет сразу оптимизировать все параметры системы в рамках единой модели. Мы развиваем метод **Disaggregated RL**, который разделяет симулятор и агента RL на разные GPU, чтобы увеличить пропускную способность системы. Это позволяет обучать больше политик одновременно, увеличивая пороговый порог для трехмерного визуального окружения. Кроме того, мы изучаем различные стратегии дистилляции, включая дистилляцию depth-политик в stereo RGB-политики, чтобы улучшить поведение в реальной среде. ## Результаты Мы выполняем эксперименты с нашим подходом на различных симуляционных и реальных средах. Мы сравниваем нашу стратегию с традиционными подходами, в том числе использованием стандартных методов дистилляции или обучения с делением на стадии. Результаты показывают, что наш подход дает значительные улучшения в точности хватки и стабильности, особенно при работе в реальной среде. Например, в одном из экспериментов, мы увеличили количество успешных хватков в реальном мире на 20% в сравнении с базовым методом. Это указывает на то, что наше решение позволяет эффективнее использовать ресурсы и улучшает общую производительность. ## Значимость Наш подход имеет широкое применение в робототехнике, в частности при использовании декстерозных роботов в промышленности, медицине и домашних роботах. Он позволяет улучшить точность хватки и снизить время, необходимое для обучения, что значительно снижает затраты на разработку и моделирование. Благодаря дистилляции depth-политик в stereo RGB-политики, мы также создаем политики, которые могут работать в ре