CURE: Critical-Token-Guided Re-concatenation for Entropy-collapse Prevention

## Контекст Одним из наиболее актуальных направлений в развитии ИИ является улучшение моделей языка с использованием усовершенствованных методов расширения знаний. Несмотря на прогресс в Reinforcement Learning with Verified Reward (RLVR), который позволил обученным моделям глубже рассуждать и принимать более социально значимые решения, зачастую наблюдается проблема "энтропийного распространения". Эта проблема возникает в силу реплицированных статических начальных состояний во время обучения, что приводит к снижению разнообразия ответов и сильному сужению диапазона возможных реакций модели. Эта проблема оказывает отрицательное влияние на продолжительность обучения и качество результатов. Данная статья фокусируется на развитии методологии, которая уменьшает эту проблему и повышает высокую степень энтропии в языковых моделях. ## Метод CURE представляет собой двухэтапный подход к решению проблемы снижения энтропии в локальных языковых моделях. В первой стадии используется метод регенерации критических токенов, нацеленный на стимулирование модели для поиска новых и значимых последовательностей с тем же уровнем контекстной когерентности. Это достигается за счет оптимизации как исходного, так и нового потока данных. Во второй стадии, для укрепления интерпретаций и повышения эксплуатации, вводится статическое начальное состояние с использованием метода DAPO. Это позволяет обеспечить более стабильный прирост производительности, сочетая в себе высокую энтропию и точность модели. ## Результаты В ходе экспериментов, проведенных на Qwen-2.5-Math-7B, CURE продемонстрировала значительный прогресс по сравнению с другими методами RLVR. Она достигла увеличения в 5% в шести математических задачах, что является состоянием лидера в области энтропии и точности. Эксперименты также подтвердили, что регенерация критических токенов способствует лучшей продолжительности обучения, сохраняя высокий уровень энтропии. Этот результат показывает, что CURE эффективно решает проблему снижения энтропии в языковых моделях, улучшая качество и глубину обучения. ## Значимость CURE может быть применена в различных тематиках обучения, включая математическое моделирование, прогностические задачи и другие области, где требуется высокая точность и разнообразие ответов. Эта методика позволяет устранить проблему снижения энтропии, повысить степень устойчивости модели и повысить ее качество работы в продолжительных сеансах обучения. Таким образом, CURE может стать ключевой компонентой в создании моделей языка с более высоким уровнем разума и более предсказуемой структурой результатов. ## Выводы Данное исследо