UR$^2$: Unify RAG and Reasoning through Reinforcement Learning

#### Контекст Large Language Models (LLMs) показали великолепные возможности в двух дополнительных парадигмах: **Retrieval-Augmented Generation (RAG)**, которая улучшает знания, связанные с генерацией, и **Reinforcement Learning from Verifiable Rewards (RLVR)**, которая оптимизирует сложные задачи рассуждения. Однако эти две способности развивались часто в изоляции, а существующие попытки их объединения остались тесно специфичными для открытых доменов QA с заранее определенными стратегиями поиска и задачей-конкретными предположениями. Это ограничивает общедоступность и применимость RAG-RL методов к широким областям. Для преодоления этого ограничения мы предлагаем **UR2 (Unified RAG and Reasoning)**, новую обобщенную структуру, которая объединяет RAG и RL через reinforcement learning. #### Метод UR2 предлагает два ключевых вклада. Первый — **difficulty-aware curriculum training**, который способен выбирать активировать RAG только для сложных задач, временями работая в режиме только RL. Второй — **hybrid knowledge access strategy**, который объединяет доменные оффлайн-корпуса с LLM-generated summaries. Эти компоненты работают вместе, обеспечивая динамическую синхронизацию между RAG и RL, что увеличивает адаптивность к разным задачам. Мы оценили UR2 на задачах open-domain QA, MMLU-Pro, медицины и математических рассуждениях. UR2 построено на Qwen2.5-3/7B и LLaMA-3.1-8B и показал заметное превосходство над RAG и RL методами, приближаясь к GPT-4o-mini и GPT-4.1-mini на некоторых бенчмарках. Все коды, модели и данные доступны по адресу: https://github.com/Tsinghua-dhy/UR2. #### Результаты Мы провели эксперименты на нескольких репрезентативных наборах данных, включая open-domain QA, MMLU-Pro, медицину и математические задачи. Результаты показали, что UR2 не только превосходит существующие RAG и RL методы, но и демонстрирует близкий уровень производительности с GPT-4o-mini и GPT-4.1-mini на нескольких тестах. На open-domain QA модель показала схожий уровень точности, в то время как в задачах математических рассуждений и медицины она показала существенное преимущество по сравнению с конкурентами. #### Значимость UR2 обладает широкими возможностями применения в различных областях, включая медицину, финансы, инженерию и образование. Его динамическая система позволяет адаптироваться к различным видам задач, улучшая производительность. В дополнение, UR2 позволяет использовать как оффлайн-корпуса, так и LLM-generated summaries, что увеличивает доступность информации. Это предлагает значительные преимущества в ситуациях, где модели должны работать с неопределенными данными или контролируемыми требованиями. #### Выводы UR2 достигает значительных улучшений в объединении RAG и RL, демонстрируя высокую эффективность в различных задачах. Наши находки открывают пу