RLBFF: Binary Flexible Feedback to bridge between Human Feedback & Verifiable Rewards

#### Контекст После подготовки моделей генеративного искусственного интеллекта (LLM) через обучение с подкреплением (RL) возникают проблемы, связанные с недостатком четкости в применении человеческого руководства и ограниченностью моделей верификации. Художественные работы, основанные на рейтингах пользователей, подвержены ошибкам в понимании и риску "наградного хакинга", тогда как модели, основанные на верификации, способны только решать задачи, определенные явными правилами. Мы предлагаем метод, который комбинирует эти подходы, используя жесткие правила для бинарных задач (например, точности ответа или читаемости кода), а также гибкие предпочтения пользователей для широкого спектра других аспектов качества. #### Метод Мы предлагаем Reinforcement Learning with Binary Flexible Feedback (RLBFF). Метод использует жесткие правила для обработки бинарных вопросов (например, "корректность ответа — да или нет") и создает бинарные признаки, которые включаются в наградную модель. Эти признаки обучаются как задачи интерпретации естественного языка, где ответы заключаются в одном из двух классов (да/нет). Мы также расширяем это подход, позволяя пользователю выбирать признаки важности во время инференции. Архитектура нашей модели строится на потоке задач, где каждая задача оценивает отдельный аспект качества ответа, а результаты объединяются в общую награду. #### Результаты Мы проводили эксперименты с использованием широкого спектра тестов и данных, включая RM-Bench, JudgeBench и MT-Bench. Модели, обученные с помощью RLBFF, показали значительное улучшение по сравнению с аналогичными модели, обученными с помощью Bradley-Terry модели. Например, на RM-Bench наши результаты достигли 86.2%, тогда как на JudgeBench — 81.4% (на момент написания статьи мы занимали первое место в рейтинге). Мы также показали, что модели могут быть тонкино настроены на конкретные пользовательские признаки, что дает дополнительное преимущество перед статичными моделями. #### Значимость Метод RLBFF может применяться в различных областях, где требуется качественная оценка текстов, таких как создание контента, верификация кода и другие задачи, требующие точности и гибкости. RLBFF дает пользователям возможность гибко настраивать модель в зависимости от их конкретных потребностей. Этот подход позволяет решить проблемы, связанные с неточностью и неполнотой верификации, а также с неоднозначностью человеческих оценок. #### Выводы Мы представили новый подход к обучению моделей с подкреплением, который комбинирует гибкость человеческих оценок и точность верификации. Мы показали, что наш подход превосходит существующие решения в многих а