Reinforcement Learning on Pre-Training Data
2509.19249v2
cs.CL, cs.AI, cs.LG
2025-09-26
Авторы:
Siheng Li, Kejiao Li, Zenan Xu, Guanhua Huang, Evander Yang, Kun Li, Haoyuan Wu, Jiajia Wu, Zihao Zheng, Chenchen Zhang, Kun Shi, Kyrierl Deng, Qi Yi, Ruibin Xiong, Tingqiang Xu, Yuhao Jiang, Jianfeng Yan, Yuyuan Zeng, Guanghui Xu, Jinbao Xue, Zhijiang Xu, Zheng Fang, Shuai Li, Qibin Liu, Xiaoxue Li, Zhuoyu Li, Yangyu Tao, Fei Gao, Cheng Jiang, Bo Chao Wang, Kai Liu, Jianchen Zhu, Wai Lam, Wayyt Wang, Bo Zhou, Di Wang
Резюме на русском
#### Контекст
Проблема растущего расхождения между быстро растущими вычислительными ресурсами и ограниченным ростом высококачественного текстового данных стала значительным ограничением для традиционных методов масштабирования больших языковых моделей (LLM). Несмотря на успех решений, таких как reinforcement learning from human feedback (RLHF) и reinforcement learning with verifiable rewards (RLVR), они опираются на дорогостоящие и субъективные людские оценки для формирования наград. Исследователи предлагают RLPT (Reinforcement Learning on Pre-Training Data) — новый подход, который позволяет модели оптимизировать свои уязвимости без зависимости от людской экспертизы.
#### Метод
RLPT представляет собой декомпозицию задачи тренировки на три этапа: 1) готовка предварительно обученных моделей; 2) создание next-segment reasoning objective, который призван модели научиться предсказывать следующий сегмент текста в зависимости от предыдущего контекста; 3) обучение модели с помощью reinforcement learning. Этапы организованы таким образом, чтобы модель могла научиться динамическими стратегиями, исследуя более широкие траектории в пределах предложенных предварительно обученных моделей. Благодаря этому, RLPT открывает возможность развития более обобщаемых резонационных знаний.
#### Результаты
Эксперименты проводились на моделях Qwen3-4B-Base и других, применяясь к общим бенчмаркам (например, MMLU, GPQA-Diamond) и математическим задачам. В результате RLPT привел к абсолютным улучшениям в 3.0, 5.1, 8.1, 6.0, 6.6 и 5.3 точек на соответствующих бенчмарках. Модель не только показала значительные улучшения, но и продемонстрировала сильный скалируемый эффект, указывающий на потенциал для постоянных достижений при масштабировании.
#### Значимость
Результаты RLPT открывают новые горизонты для использования безудобных и больших данных, которые ранее не были полностью эффективно использованы. Этот подход расширяет пределы человеческого знания, внедряя самостоятельное исследование полезных траекторий. RLPT также может фактически улучшить RLVR, являясь новым инструментом для развития кибернетических технологий.
#### Выводы
RLPT является инновационным подходом к масштабированию языковых моделей, основывающимся на предварительных данных. Он доказал свою эффективность в различных задачах и применимость к улучшению различных моделей. На будущее, RLPT ставит цель расширять свои возможности в сторону более сложных задач и более широкого круга моделей.
Abstract
The growing disparity between the exponential scaling of computational
resources and the finite growth of high-quality text data now constrains
conventional scaling approaches for large language models (LLMs). To address
this challenge, we introduce Reinforcement Learning on Pre-Training data
(RLPT), a new training-time scaling paradigm for optimizing LLMs. In contrast
to prior approaches that scale training primarily through supervised learning,
RLPT enables the policy to autonomously explore meaningful trajectories to
learn from pre-training data and improve its capability through reinforcement
learning (RL). While existing RL strategies such as reinforcement learning from
human feedback (RLHF) and reinforcement learning with verifiable rewards (RLVR)
rely on human annotation for reward construction, RLPT eliminates this
dependency by deriving reward signals directly from pre-training data.
Specifically, it adopts a next-segment reasoning objective, rewarding the
policy for accurately predicting subsequent text segments conditioned on the
preceding context. This formulation allows RL to be scaled on pre-training
data, encouraging the exploration of richer trajectories across broader
contexts and thereby fostering more generalizable reasoning skills. Extensive
experiments on both general-domain and mathematical reasoning benchmarks across
multiple models validate the effectiveness of RLPT. For example, when applied
to Qwen3-4B-Base, RLPT yields absolute improvements of $3.0$, $5.1$, $8.1$,
$6.0$, $6.6$, and $5.3$ on MMLU, MMLU-Pro, GPQA-Diamond, KOR-Bench, AIME24, and
AIME25, respectively. The results further demonstrate favorable scaling
behavior, suggesting strong potential for continued gains with more compute. In
addition, RLPT provides a solid foundation, extending the reasoning boundaries
of LLMs and enhancing RLVR performance.
Ссылки и действия
Дополнительные ресурсы: