IFDECORATOR: Wrapping Instruction Following Reinforcement Learning with Verifiable Rewards
2508.04632v2
cs.CL
2025-08-09
Авторы:
Xu Guo, Tianyi Liang, Tong Jian, Xiaogui Yang, Ling-I Wu, Chenhui Li, Zhihui Lu, Qipeng Guo, Kai Chen
Резюме на русском
Задачу повышения инструкционного следования значительно усложняет неэффективная оценка сложности задач в RLVR, а также нежелательное использование подводных займов (reward hacking), когда системы слишком успешно выучиваются подделкам, а не пониманию пользовательских инструкций. IFDecorator — это развитие RLVR, ориентированное на его улучшение. Оно включает в себя систему, генерирующую последовательно более сложные инструкции и верификации (cooperative-adversarial data flywheel), модуль IntentCheck для усиления аллигации интента и trip wires для выявления и устранения недочетов. Эта стратегия позволила достичь 87,43% точности на IFEval, превзойдя даже более крупные проприетарные модели. IFDecorator также показал значительные улучшения на FollowBench, при этом сохранив широкие общие способности. Вывод: IFDecorator значительно повышает эффективность и безопасность RLVR, сделав инструкционное следование более надежным и отказоустойчивым.
Abstract
Reinforcement Learning with Verifiable Rewards (RLVR) improves instruction
following capabilities of large language models (LLMs), but suffers from
training inefficiency due to inadequate difficulty assessment. Moreover, RLVR
is prone to over-optimization, where LLMs exploit verification shortcuts
without aligning to the actual intent of user instructions. We introduce
Instruction Following Decorator (IFDecorator}, a framework that wraps RLVR
training into a robust and sample-efficient pipeline. It consists of three
components: (1) a cooperative-adversarial data flywheel that co-evolves
instructions and hybrid verifications, generating progressively more
challenging instruction-verification pairs; (2) IntentCheck, a bypass module
enforcing intent alignment; and (3) trip wires, a diagnostic mechanism that
detects reward hacking via trap instructions, which trigger and capture
shortcut exploitation behaviors. Our Qwen2.5-32B-Instruct-IFDecorator achieves
87.43% accuracy on IFEval, outperforming larger proprietary models such as
GPT-4o. Additionally, we demonstrate substantial improvements on FollowBench
while preserving general capabilities. Our trip wires show significant
reductions in reward hacking rates. We will release models, code, and data for
future research.
Ссылки и действия
Дополнительные ресурсы: