Model-Task Alignment Drives Distinct RL Outcomes

#################### ## Контекст #################### Постепенное внедрение методов развития точек (RL) в область бо LARGE LANGUAGE MODELS (LLMs) позволило достичь значительных успехов. В частности, в LLMs обнаружены неожиданные, часто противоречивые явления, которые отличаются от устойчивых закономерностей в традиционных методах RL. Например, один учебный пример может дать тот же результат, что и целый набор данных, точность сигнала награды не является критичной, и даже только с отрицательными образцами можно достичь эквивалентных или лучших результатов, чем при использовании сложных методов на основе наград. Однако определенные условия, при которых эти явления происходят, и ситуации, когда они идентифицируются, до сих пор остаются неясными. Наша работа призвана выявить основные факторы, отличающиеся в RL-задачах, а также понять, почему они влияют на результаты. #################### ## Метод #################### Мы выполнили многочисленные эксперименты с различными моделями и задачами, чтобы идентифицировать условия, в которых RL-методы демонстрируют противоречивые результаты. Для изучения этих явлений, мы определили новый показатель — Model-Task Alignment — определяющий степень совпадения модели и задачи. Этот показатель измеряется с помощью pass@k, где k — доля правильных ответов модели на задаче. Мы проводили эксперименты по вводу моделей разных архитектур, с различными уровнями начального сходства с задачей, и сравнивали их поведение в зависимости от уровня Model-Task Alignment. Наша методология позволяет визуализировать, какие явления происходят в ситуации с высоким и низким сходством. #################### ## Результаты #################### Мы получили следующие основные результаты: 1. Методы RL показали согласованные и доступные результаты, независимо от применения, если показатель Model-Task Alignment был низкий. 2. Когда Model-Task Alignment был высоким, мы наблюдали появление противоречивых явлений, таких как улучшение подавляющего большинства ответов при помощи одного учебного примера, а также результаты, при которых аккуратность сигнала награды не играла роли. 3. Наблюдения показали, что в ситуациях с высоким Model-Task Alignment, традиционные методы RL становятся чрезмерно сложными и накладывают дополнительные ограничения на модель, что приводит к снижению эффективности. 4. Мы также проверили эти результаты на разных моделях и задачах, чтобы убедиться в стабильности и надежности наших выводов. #################### ## Значимость #################### Установленные нами выводы имеют значительное значение для применения RL в LLMs. Наша работа помогает понять, когда и почему неожиданные результаты возникают в RL-задачах, что поможет значительно повысить уровень зрелости и эффективности применения RL в текстовых задачах. Это также открывает возможно