Depth-Breadth Synergy in RLVR: Unlocking LLM Reasoning Gains with Adaptive Exploration

## Контекст В последние годы Reinforcement Learning with Verifiable Reward (RLVR) приобрел всесторонний признак как эффективный подход для развития логических и решательских навыков у обычных языковых моделей. Однако, даже с учетом своих успехов, RLVR сталкивается с недоработками, которые ограничивают его потенциал. Особенно важными становятся два аспекта: Depth (глубина исследования) и Breadth (ширина обучения). На данный момент, традиционные методы RLVR недостаточно адекватно относятся к этим двум аспектам. Одна из наиболее заметных проблем - это "cumulative-advantage bias", что приводит к недостаточной балансировке между простыми и сложными задачами. Кроме того, новые требования к высокому потенциалу RLVR поднимают вопрос о том, насколько широко может быть применена ширина обучения, и как можно оптимизировать ее. Ранее вид взаимосвязи между Depth и Breadth был недостаточно исследован, что способствует необходимости разработки новых, более эффективных подходов, которые могут помочь полностью раскрыть потенциал RLVR. ## Метод Для компенсации недостатков в Depth и Breadth мы предлагаем два новые подхода. Во-первых, мы представляем Difficulty Adaptive Rollout Sampling (DARS), который представляет собой новый метод для адаптивного изменения сложности задач. Метод DARS использует многоступенчатый процесс выбора задач, чтобы увеличить положительный результат для самых сложных задач. Это позволяет увеличить количество удачных решений для задач, которые требуют большего уровня логического упорядочения. Во-вторых, мы предлагаем новую методику для увеличения Breadth. Мы расширяем объем обучения, контролируя более широкий спектр данных за одну итерацию. Это позволяет обеспечить высокую токен-уровневую энтропию и снизить шум градиентов, что улучшает качество решения задач. Мы также проверяем эти методы на разных наборах данных, включая обучение с полным пакетом (full-batch) и отдельные эпохи для оптимизации. ## Результаты Наши эксперименты показали, что DARS существенно улучшает Pass@K-метрику (то есть, увеличивает долю правильно решенных задач) без дополнительных затрат на инференс. Это продемонстрировано на нескольких задачах, где DARS полностью исправляет существующие недостатки в RLVR. Кроме того, мы показываем, что увеличение Breadth также вызывает значительный подъем Pass@1-метрики, что показывает улучшение в точности решений. Мы также обнаружили, что DARS способствует улучшению Pass@K, а увеличение Breadth - улучшению Pass@1, что вновь подтверждает взаимосвязь между Depth и Breadth в RLVR. Наши результаты показывают, что расширение Depth и Breadth не только способствует улучшению основных метрик, но и создает более устойчивый и эффективный подход к обучению. ## Значимость Мы