Mind the Gap: Data Rewriting for Stable Off-Policy Supervised Fine-Tuning

## Контекст Supervised fine-tuning (SFT) стал приоритетным подходом для настройки больших моделей языковых моделей. Он требует набора данных, содержащих демонстрации эксперта (базовой политики), которые традиционно используются для оценки модели в процессе обучения. Однако существуют проблемы, связанные с разным размером политик: проблема политического пространства, разница в мотивации и разрыв в данных. Эти проблемы могут привести к высокой ошибке, высокой вариативности и нестабильности в процессе обучения. Таким образом, есть сильная систематическая мотивация для создания методологий, которые просто и эффективно смогут свести разрыв между политиками. ## Метод Мы предлагаем фреймворк "Mind the Gap: Data Rewriting for Stable Off-Policy Supervised Fine-Tuning", который активно сводит разрыв между политиками перед началом обучения. Наш фреймворк делится на две основные части. В первой части мы используем модель для решения задач в процессе обучения: корректные демонстрации хранятся как "on-policy" данные, а неверные ответы переписываются через направленное решение. Во второй части мы применяем классический метод импортных выборок для уменьшения разрыва, когда обучение не может быть выполнено на основе самостоятельных моделей. Это двухэтапный подход, оптимизирующий обучение и сжимающий разрыв между политиками, что приводит к улучшенной стабильности и уменьшению вариативности. ## Результаты Мы проводим эксперименты на пяти математических бенчмарках, включая GSM8K, SVAMP, A-EQUIV, A-N-EQUIV, и A-EXP-EQUIV. Для каждого бенчмарка мы перестраиваем модель, как в тестировании, так и в обучении, используя наши методы. Мы установили, что метод "Mind the Gap" позволяет получить стабильные и лучшие результаты в сравнении с текущими лучшими решениями, в том числе Dynamic Fine-Tuning (DFT). Также мы показываем, что применение нашего метода приводит к снижению ошибки и высокой вариативности во время обучения, что является ключевым для создания надежной модели. ## Значимость Предлагаемый подход имеет широкие применения в ситуациях, где требуется уменьшить разрыв между политиками, таких как моделирование сложных задач, в том числе лингвистические задачи и математическое моделирование. Наш фреймворк демонстрирует значительные преимущества в сравнении с классическими методами, включая возможность применения к большим моделям. Этот подход может стать ключевым инструментом для развития моделей, улучшения их точности и надежности при работе с разными типами задач. ## Выводы Мы представили "Mind the Gap", фреймворк, который активно уменьшает разрыв между политиками в процессе обучения. Наши эксперименты показали значительное улучшение в сравнении с нынешними лу