Mind the Gap: Data Rewriting for Stable Off-Policy Supervised Fine-Tuning

## Контекст Настоящая работа затрагивает область применения глубокого обучения, а именно супервайзированное отображение языковых моделей (Supervised Fine-Tuning, SFT). Эта проблема возникает в ситуациях, когда необходимо отобразить знания, полученные на больших моделях, на конкретные задачи или домены. Одним из основных вызовов SFT является распределительный шум, который возникает из-за различий между распределением данных, используемых при обучении модели, и распределением данных, применяемых в реальных задачах. Этот распределительный шум может привести к увеличению вариации при обучении и ухудшению качества результатов. Данная работа адресует эту проблему, предлагая новую методологию, которая стремится активно уменьшить распределительный шум и улучшить стабильность SFT. ## Метод Предлагаемый подход, названный **Data Rewriting for Stable Off-Policy Supervised Fine-Tuning**, представляет собой проактивную методологию для уменьшения распределительного шума. Основная идея заключается в том, чтобы продолжительность обучения нормализовать, используя данные, которые ближе всего соответствуют целевой политике. Для этого используется фреймворк, который решает задачи с помощью экспертного способа, но при этом активно выявляет неверные решения и вносит исправления. Это позволяет создавать набор данных, который более соответствует целевому распределению. Таким образом, модель обучается с меньшим распределительным шумом, что улучшает стабильность и эффективность SFT. ## Результаты Исследования проводились на пяти различных математических задачах, для которых использовались различные модели языка. Результаты показали, что использование предложенного фреймворка приводит к существенному улучшению производительности в сравнении с классическим SFT и динамическим SFT (Dynamic Fine-Tuning). Особенно заметны повышения в производительности на задачах, где распределительный шум был достаточно сильным. Эксперименты также показали, что фреймворк существенно уменьшает вариацию и стабилизирует процесс обучения. ## Значимость Предложенный подход может быть применен в различных областях, где требуется высокая точность и стабильность при применении языковых моделей. Например, в области математического моделирования, документации, интерпретации законодательных норм и других задачах, где требуется высококачественная генерация текста. Особым преимуществом является уменьшение вариации и улучшение стабильности обучения, что позволяет использовать модели в реальном мире более эффективно. Это может привести к значительным пользам в области прикладных задач, где SFT используется. ## Выводы Предлагаемый подход демонстрирует значительные достижения