Temporal Self-Rewarding Language Models: Decoupling Chosen-Rejected via Past-Future

#### Контекст Существующие языковые модели (LLMs) обладают высокими возможностями в области процессов обучения и принятия решений. Одним из значительных подходов является Self-Rewarding Language Models, где модели используются как самостоятельные судьи для оценки своих выводов. Несмотря на их перспективы, ограничения в совмещении выборки найденных и отвергнутых ответов приводят к уменьшению разнообразия возможных ответов, что снижает эффективность изучения предпочтений. Это приводит к недостаточной устойчивости в обучении и ограничивает общую гибкость моделей. Мы определили, что наиболее эффективным решением могут быть подходы, которые бы способствовали улучшению представления отдельных ответов в разных моментах времени, повышая таким образом качество решений. #### Метод Мы предлагаем **Temporal Self-Rewarding Language Models**, которые разделяются на две фазы: **Anchored Rejection** и **Future-Guided Chosen**. В первой фазе, **Anchored Rejection**, мы используем многомодельный план, где модель-предшественник фиксирует выбранные ответы, чтобы сохранить их качество. Вторая фаза, **Future-Guided Chosen**, включает в себя динамическую структуру, которая позволяет модели выбирать ответы с использованием многомодельного прогноза для следующих раундов. Эта структура позволяет поддерживать разнообразие ответов и улучшает обучение в течение временного сдвига. Мы проводим эксперименты с использованием трех моделей (Llama, Qwen, Mistral) и различными размерами моделей (Llama 3B, 8B, 70B). #### Результаты Мы провели ряд экспериментов, чтобы проверить эффективность нашего подхода. Наша модель показала значительные выигрыши в различных аспектах. Например, Llama3.1-8B достигла 29.44 win rate на AlpacaEval 2.0, что значительно превосходит Self-Rewarding baseline (19.69). Мы также проверили наши модели на выводах в области математического разума (GSM8K), знаний (ARC, TruthfulQA) и кода (HumanEval). Даже не используя специальное обучение, наши модели показали улучшение в общей гибкости и выносливости. Это указывает на то, что наш подход не только улучшает качество вывода, но и повышает устойчивость и общую эффективность. #### Значимость Мы предлагаем новый подход к обучению моделей, который может быть применен в различных областях, включая знания, кодирование, предсказания и другие. Данный подход позволяет улучшить качество модели, сохранив разнообразие в выборке ответов, что вносит вклад в улучшение общей гибкости и устойчивости моделей. Это может иметь значительное влияние на развитие языковых моделей, повышая их точность и мощность в различных сценариях. #### Выводы Мы доказали, что наш подход значительно улучшает качество моделей Self-Rewarding Language Models, даже при ограничен