When Inverse Data Outperforms: Exploring the Pitfalls of Mixed Data in Multi-Stage Fine-Tuning

## Контекст Исследование посвящено сложностям, возникающим при использовании смешанных данных (forward и reverse) в многоэтапном оптимизированном тренировочном процессе (multi-stage fine-tuning, SFT). Уже существующие работы доказали, что можно достичь высокой точности (o1-level performance) при ограниченном объеме данных, однако большинство методов ориентированы на одинарную супервайзен регуляризацию (unidirectional supervised fine-tuning, SFT) и не учитывают трудности, возникающих при смешанных задачах различных логических рассуждений. В работе предлагается новый высококачественный датасет для обучения, полученный путем перевёртыша 1,000 форвардных примеров из S1K. Это позволяет изучать влияние SFT и Direct Preference Optimization (DPO) на адаптацию модели в условиях двунаправленных задач рассуждения. ## Метод Методология основана на создании и использовании нового датасета r1k, состоящего из 1,000 перевёртышных примеров из S1K. Для SFT и DPO используется специальная архитектура, где модели обучаются на смешанных наборах данных, учитывая различные типы логических рассуждений. Алгоритм DPO используется для улучшения различения между разными типами рассуждений, но при этом снижает вес других, менее предпочтительных путей. Это позволяет зафиксировать исследовать позитивные и негативные влияния смешанных данных на обучение модели. ## Результаты В ходе экспериментов было обнаружено, что обучение на r1k приводит к улучшению точности от 1.6% до 6.8% по сравнению с S1K, при этом наблюдается улучшение в обучении для обеих сторон рассуждения (forward и reverse). Однако обнаружено, что простое смешение forward и reverse данных в процессе SFT снижает ключевые задачи рассуждения, что влечёт за собой снижение уверенности модели. Хотя DPO может частично восстановить различение между разными типами рассуждений, он также сокращает вес процессов, которые не являются доминирующими, что приводит к нарушению баланса в нагрузке на модель. ## Значимость Результаты имеют значительное значение в различных областях, где требуется оптимальное уравновешивание между разными типами рассуждений (forward и reverse). Это может быть применено в обучении моделей для систем вопроса-ответа (QA), где требуется правильное понимание и предсказание двунаправленных задач. Наиболее значимым преимуществом является возможность ослабить конфликтующие сигналы в данных и улучшить внимание модели к направленным логическим задачам. Будущие работы могут направлены на развитие более продвинутых методов для полного использования смешанных данных. ## Выводы Основными достижениями является получение повышения точности в обучении модели при использовании смешанных данных, а также выявление основ