Single-stream Policy Optimization

## Контекст Политические оптимизации служат основополагающим методам для обучения бо LARGE LANGUAGE MODELS (LLMs). Однако существующие подходы, такие как GRPO, сталкиваются с рядом проблем. Например, использование на-лету базисных значений позволяет снизить дисперсию, но часто приводит к вырожденным группам, которые лишаются обучающих сигналов. Более того, синхронизационные барьеры мешают масштабированию этих методов, особенно в сценариях, где размер батча или длина генерации варьируется. Эти ограничения приводят к затуханию обучающих сигналов и снижению эффективности. Однако возрастающий интерес к LLMs в задачах, таких как принятие решений, логическое моделирование и инструментальное развитие, подчеркивает необходимость эффективных, масштабируемых и устойчивых политических оптимизаций. Таким образом, необходим подход, который избавится от этих ограничений и обеспечит более стабильный и эффективный процесс обучения. ## Метод Мы предлагаем **Single-stream Policy Optimization (SPO)**, который представляет собой новый подход к политической оптимизации для LLMs. SPO заменяет на-лету базисные значения на постоянный, адаптивный треккер величины KL. Этот треккер гарантирует низкую дисперсию в представлении приближения, нормализовав приближения в соответствии с глобальными стандартами за один проход. Он также устраняет синхронизационные барьеры, позволяя работать с большими батчами и длинными генерационными задачами. Используя постоянную трассировку величины, SPO также включает в себя принцип адаптивной курсивизации, что позволяет приоритетно выбирать образцы в задачах обучения. Вычислительная эффективность SPO достигается благодаря его модульной архитектуре, которая отказывается от ненужных групповых структур и внедряет принципы глобального нормалирования. ## Результаты Мы проверили SPO на Qwen3-8B, тестируя его на пяти сложных задачах математики. SPO показал более сглаженный спуск и вышеуровневые результаты по отношению к GRPO. Например, на BRUMO 25 он повысил average maj@32 на +3.4 pp, на AIME 25 на +4.4 pp, на HMMT 25 на +3.3 pp. Эти результаты были поддержаны значительными повышениями в pass@$k$, показывая его эффективность в сложных сценариях. Эти результаты также подтверждают, что SPO превосходит GRPO не только в высоком масштабировании, но и в стабильности обучения. Благодаря исключению вырожденных групп и эффективной нормализации, SPO обеспечивает более надежное и высокопоточное тренирование по сравнению с существующими методами. ## Значимость SPO может быть применен в различных обла