Merge-of-Thought Distillation

## Контекст В последние годы стало очевидно, что модели цепочки мыслей (Chain-of-Thought, CoT) эффективно улучшают решение задач, включая математические задачи, вопросы и ответы (QA), и другие. Несмотря на их успех, эффективное выделение цепочки мыслей (CoT Distillation) для моделей с длинными цепочками мыслей остается проблемой. Основная проблема заключается в необходимости обучения моделей с использованием крупных корпусов цепочек мыслей, что требует больших ресурсов вычислительной мощности и времени. Более того, существующие подходы часто ограничиваются использованием одного "оракульского" учителя, что не соответствует практическим ситуациям с несколькими доступными учителями и разнообразными данными. Однако новые подходы к преодолению этих ограничений могут расширить возможности моделей цепочек мыслей и улучшить их потенциал для решения различных задач. ## Метод Merge-of-Thought Distillation (MoT) — это новый подход для выделения цепочки мыслей, который работает с несколькими учителями и объединяет их возможности в одном модели. Основная идея заключается в том, чтобы обучить модель с использованием нескольких цепочек мыслей, используя различные учителей, а затем слить их в одну студентскую модель. Метод устраняет конфликты между разными учителями и снижает возможные проблемы с переобучением. Архитектура MoT включает в себя несколько супервайзед файн-тюнинг бранчей, каждый из которых обучается с учителем-специалистом, и в конце цикла происходит слияние весов всех моделей в одну. Это позволяет увеличить универсальность модели и улучшить ее качество на различных данных. ## Результаты Чтобы протестировать MoT, авторы провели эксперименты на математических задачах, включая тесты, требующие длинных цепочек мыслей. Использовались данные из различных корпусов, включая Qwen3-14B, DEEPSEEK-R1, QWEN3-30B-A3B, QWEN3-32B и OPENAI-O1. Результаты показали, что MoT повышает производительность модели Qwen3-14B, достигая или превосходя результаты других моделей. Также было показано, что MoT позволяет снизить вероятность переобучения и повысить универсальность модели, делая ее эффективнее в различных задачах. ## Значимость Merge-of-Thought Distillation превращает возможность использования нескольких учителей в практическое и эффективное решение для моделей цепочек мыслей. Он может применяться в различных областях, включая математику, естественное языковое обучение и другие QA-системы. Его преимущества заключаются в том, что он повышает качество модели, уменьшает вероятность переобучения и позволяет использовать разных учи