SCAN: Self-Denoising Monte Carlo Annotation for Robust Process Reward Learning

#### **Контекст** Process reward models (PRMs) представляют собой мощный инструмент для тонкой оценки результатов подкрепления в процессах, обеспечивая глубокий рассужденческий подход в обучении бо LLM. Однако их развитие сталкивается с тем, что получение высококачественных данных для обучения требует больших вложений и времени. Обычные методы, основанные на Monte Carlo (MC), хотя и позволяют генерировать синтетические данные, имеют высокий уровень шума, что приводит к переобучению и снижению эффективности обучения. Наша мотивация заключается в разработке метода, способного обрабатывать помехи в синтетических данных и масштабироваться для эффективного обучения PRMs. #### **Метод** Мы предлагаем Self-Denoising Monte Carlo Annotation (SCAN) — рамку для синтеза данных и устойчивого обучения, которая адресует проблемы шума в синтетических данных MC. Мы определили, что модели аннотации часто искажают правильность шагов, порождая шум. SCAN использует самонадлежащую стратегию самокоррекции, позволяющую более точно оценивать корректность шагов. Мы архитектурно оптимизировали модель, достигнув эффективности и высокого качества, даже при использовании небольших моделей (например, 1.5B параметров). #### **Результаты** Наши эксперименты показали, что SCAN достигает выдающихся результатов. Когда применяется 1.5B-параметровая модель, она показывает сравнимое качество с моделями, обученными на больших объемах человеческих данных, но с 6% затрат на инференс по сравнению с ванильным MC. На ProcessBench мы получили F1-результат 59.1, что является значительным ростом по сравнению с базовым результатом 19.9. Благодаря мощности SCAN, PRMs смогут обучаться с меньшими затратами и более высоким качеством, даже при масштабировании. #### **Значимость** Проработанная стратегия позволяет применять SCAN в различных областях, где требуются точные оценки процессов, такие как математическое моделирование, программирование и диагностика. Наш подход обеспечивает значительные преимущества, включая экономию ресурсов и увеличение точности. Мы видим будущее развитие SCAN в плане увеличения масштаба и улучшения моделей PRM, что будет влиять на развитие широкого спектра задач. #### **Выводы** Мы успешно разработали SCAN, эффективный метод для синтеза данных и обучения устойчивых PRMs. Наши результаты указывают на высокую эффективность и масштабируемость SCAN, даже при ограниченных ресурсах. Мы планируем дальнейшие исследования по улучшению точности моделей PRM и их применению в новых, требующих точности задачах.