Beyond Scaling Law: A Data-Efficient Distillation Framework for Reasoning

## Контекст В последние годы появились значительные достижения в области развития бо LARGE LANGUAGE MODELS (LLMs), которые проявляют выдающиеся способности к разуманию в задачах, таких как алгоритмическое программирование и решение математических задач. Однако многие из этих моделей требуют больших объемов данных и ресурсоемких процессов обучения, что приводит к высоким экономическим и техническим затратам. Несмотря на то что некоторые методы показывают, что специально созданные небольшие данные могут стимулировать разуманию через дистилляцию, существует сложность в формировании эффективных методов, которые могут быть более эффективными в упрощении и улучшении разуманию, используя меньшую вычислительную стоимость. Мы предлагаем **DED (Data-Efficient Distillation)** — рамку для дистилляции, которая стремится оптимизировать границу рациональной дистилляции. Мы используем новые подходы, основанные на наблюдениях о связи между учительным моделью, эффективностью выборки и способностью моделей к разуманию. ## Метод Наш **DED-фрэймворк** работает на основе трех основных компонентов: 1. **Идентификация эффективного учителя**: Мы выясняем, что простой параметр трудности бенчмарка не является корректным критерием выбора учителя. Мы разработали метод, который позволяет выбрать оптимальную модель учителя, оптимизировав ее для разумания через дистилляцию. 2. **Оптимизация дистилляционного процесса**: Мы отклоняем стратегию "больше данных — лучше разумание". Вместо этого мы предлагаем методы, которые позволяют применять меньшие, но более целенаправленные данные в процессе дистилляции, чтобы добиться баланса между внутридоменной и внедоменной способностью модели. 3. **Изменение горизонтов разумания**: Мы используем разнообразные распространенные траектории разумания, позволяя модели не только выполнять задачи, но и развивать понимание причинности в различных контекстах. ## Результаты Мы провели эксперименты на следующих наборах задач: **AIME 2024/2025** (математический разуманий), **MATH-500** (математические задачи) и **LiveCodeBench** (кодогенерация). Модель, обученная с помощью DED, достигла **state-of-the-art** результатов, используя только **800 примеров**, что значительно снизило необходимость в больших объемах данных. Таким образом, мы доказываем, что наш подход эффективен и в разумании, и в общем использовании, не прибегая к излишним вычислительным затратам. ## Значимость Наша рамка **DED** имеет широкие приложения в областях машинного обучения, где необходимо улучшить разумание, не прибегая к масштабированию моделей. Этот подход позволя