CO-RFT: Efficient Fine-Tuning of Vision-Language-Action Models through Chunked Offline Reinforcement Learning

#### Контекст VLA (Vision-Language-Action) модели широко применяются в развитии универсальных политик для реального мира, включая робототехнический контроль. Однако их конечные цели, такие как улучшение общей универсальности и выполнение задач в условиях неопределенности, требуют дополнительного улучшения. Несмотря на то, что находятся в интересующей области, техники тренировки VLA моделей с помощью Reinforcement Learning (RL) сталкиваются с проблемами, такими как неэффективность при обучении, несовместимость с chunked action и нестабильность тренировочного процесса. Эти проблемы подчеркивают необходимость разработки эффективных методов, позволяющих улучшить полученные результаты VLA моделей. #### Метод Мы предлагаем Chunked RL — новую методологию для оптимизации VLA моделей, включая детальную интеграцию chunked action в темporal difference (TD) learning. Данный подход позволяет обеспечить более эффективное участие в процессе обучения, сохранив логику задач с VLA моделями. Мы также предлагаем CO-RFT — новую алгоритмическую реализацию для оптимизации VLA моделей с помощью ограниченных наборов примеров демонстрационных данных (30-60 примеров). Метод CO-RFT начинает с имитационного обучения (IL) для инициализации модели в целом и политики в частности, а затем применяет offline RL с chunked action для дополнительной оптимизации. Этот подход позволяет достичь высокой эффективности, увеличивая успешность и уменьшая цикличность задач. #### Результаты Наши результаты в реальных средах показали, что CO-RFT значительно превосходит предыдущие супервизорные методы, повышая успешность задач на 57% и уменьшая цикличность на 22.3%. Кроме того, CO-RFT доказал способность генерализоваться в новых позициях, получив 44.3% успешных результатов в неизвестных условиях. Эти результаты подтверждают мощь Chunked RL и CO-RFT в улучшении VLA моделей, демонстрируя их универсальность и эффективность в реальных условиях. #### Значимость Метод CO-RFT имеет значительное применение в предметных областях, таких как робототехническая тренировка, управление производственными процессами, искусственный интеллект в реальном мире. Он предоставляет несколько преимуществ, включая улучшенную эффективность обучения, лучшую общую универсальность и высокую ценность в условиях неопределенности. Наш подход также может иметь потенциал для расширения точности и эффективности в других RL-based моделях, позволяя ими повысить производительность в сложных реальных задачах. #### Выводы Мы достигли важных достижений в оптимизации VLA моделей, используя Chunked RL и CO-RFT. Эти открытия позволяют улучшить целостность и эффективность VLA моделей в реаль