Delta Knowledge Distillation for Large Language Models

#### Контекст Современные модели естественного обучения моделируют знания сложными нейронными сетями, которые требуют больших ресурсов для обучения и работы. Для облегчения этих моделей используется техника знаний классификации (Knowledge Distillation, KD). Она позволяет передавать знания от большой модели-учителя (teacher) к меньшей модели-ученице (student). В контексте больших моделей естественного языка (LLM), метод минимизации количества приближения (KL-divergence) между распределениями выходов учителя и ученицы стал одним из стандартных подходов. Однако, при этом существует предположение, что выходные распределения учителя и ученицы должны иметь один и тот же оптимальный представительный пространство, что может быть неверно в реальных ситуациях. Это ограничение может привести к неэффективному обучению ученицы. Для решения этой проблемы предлагается Delta Knowledge Distillation (Delta-KD), что позволяет ученице аппроксимировать более точно оптимальное пространство знаний учителя. #### Метод Delta-KD является расширением токенного метода классификации знаний (token-level KD). Он применяет дополнительное преобразование, позволяющее ученице аппроксимировать не только распределение учителя, но и использовать шаг преобразования (Delta), который возникает в процессе супервизованного оптимизационного процесса учителя. Идея заключается в том, чтобы ученица не только запоминала распределение учителя, но и адаптировалась к представительному пространству, которое возникает в ходе обучения учителя. Этот подход учитывает различия в распределениях между учителем и ученицей и позволяет ученице более эффективно учиться на примере учителя. #### Результаты Проведенные эксперименты показывают, что Delta-KD существенно повышает производительность ученицы на задачах генерации текста, основанных на метрике ROUGE. Эти результаты показывают, что Delta-KD не только повышает точность генерации ученицы, но и сохраняет больше знаний учителя, чем традиционный подход токенов-KD. Это подтверждается сравнением результатов на нескольких датасетах, где Delta-KD показывает значительное преимущество по метрике ROUGE в сравнении с другими методами. #### Значимость Delta-KD может быть применено в различных областях, где необходимо масштабировать модели естественного языка, например, в области генерации текста, моделирования диалогов и анализа текста. Он предоставляет более эффективный способ передачи знаний от учителя к ученице, что делает модели более удобными для использования в реальных сценариях. Важное преимущество Delta-KD заключается в том, что он улучшает качество генерируемого текста без потери значительных знаний от учителя, что делает его выгодным для разработки мелких моделей, которые