On-Policy RL Meets Off-Policy Experts: Harmonizing Supervised Fine-Tuning and Reinforcement Learning via Dynamic Weighting

#### Контекст Large Language Models (LLMs) широко применяются в различных областях, но часто требуют дополнительной настройки для повышения точности или подстройки поведения под конкретные задачи. Основные подходы к этой настройке — **Supervised Fine-Tuning (SFT)** и **Reinforcement Learning (RL)** — имеют свои преимущества и ограничения. SFT эффективен в закреплении конкретных знаний, но может потерять гибкость. RL, в свою очередь, позволяет формировать поведение в процессе интерактивных задач, но может сталкиваться с проблемами оптимизации и переобучением. Недостаток существующих подходов заключается в риске разрушения уже установленных модельных шаблонов или переобучении к экспертным данным в сценариях интеграции SFT и RL. Мотивирует эту работу желание создать метод, который бы использовал преимущества обеих парадигм, сохраняя стабильность и эффективность. #### Метод Мы предлагаем CHORD — **Controllable Harmonies of On- и Off-Policy Reinforcement Learning via Dynamic Weighing**. Это фреймворк, который представляет SFT не как отдельный этап, а как динамически весовый вспомогательный цель в процессе RL. Основной идеей является анализ влияния off-policy экспертных данных на модель как на глобальном, так и на токенном уровне. Основные компоненты CHORD: 1. **Глобальный коэффициент**: управляет переходом от имитационной стратегии RL к эксплорейторской. 2. **Токен-wise weighting function**: позволяет модели учиться от экспертных данных на токенном уровне без нарушения всего процесса. Этот подход стабилизирует обучение и позволяет эффективно использовать off-policy данные, не подвергаясь риску переобучения. #### Результаты Мы провели эксперименты на популярных бенчмарках для оценки CHORD. Использовались различные модели LLMs и наборы данных для оценки. Результаты показали, что CHORD достигает **высокой стабильности** и **эффективности** в обучении, существенно превосходя базовые модели и другие подходы к интеграции SFT и RL. Мы также обнаружили, что динамический вес приводит к более точной адаптации модели к задачам, при этом избегая рисков разрушения уже установленных шаблонов. #### Значимость CHORD может быть применен в сценариях, где требуется высокая точность и гибкость LLMs, таких как NLP-задачи, генерация кода, интерактивные системы и приложения в сфере ИИ. Преимущества CHORD включают: - Уменьшение риска переобучения к экспертным данным. - Гармоничное интегрирование SFT и RL. - Увеличение эффективности и стабильности обучения. Мы видим потенциал CHORD в оптимизации LLM для сложных задач, где требуется компромисс между гибкостью и стабильностью. #### Выводы CHORD достигает значительных улучшений в интеграции SFT и RL, показывая его эффективност