TopKD: Top-scaled Knowledge Distillation
2508.04539v1
cs.CV
2025-08-09
Авторы:
Qi Wang, Jinjia Zhou
Резюме на русском
Недавние достижения в области knowledge distillation (KD) направлены на передачу знаний на уровне признаков, но часто игнорируют важные сведения, содержащиеся в teacher's logit distributions. В статье предлагается вернуться к logit-based distillation и раскрыть новый, недостаточно изученный аспект — Top-K knowledge. На этой основе разработан Top-scaled Knowledge Distillation (TopKD), простой, эффективный и архитектурно независимый подход, который значительно улучшает logit-based KD. TopKD включает две основные компоненты: (1) Top-K Scaling Module (TSM), который адаптивно усиливает наиболее важные logits, и (2) Top-K Decoupled Loss (TDL), обеспечивающий целевую и эффективную супервайз. TopKD может легко интегрироваться с существующими KD-методами без дополнительных модулей или архитектурных изменений. Эксперименты на CIFAR-100, ImageNet, STL-10 и Tiny-ImageNet показали, что TopKD превосходит современные KD-методы, а также демонстрирует высокую эффективность при передачи знаний в Vision Transformers, подтверждая широкую верситльность и перспективность использования logits в KD.
Abstract
Recent advances in knowledge distillation (KD) predominantly emphasize
feature-level knowledge transfer, frequently overlooking critical information
embedded within the teacher's logit distributions. In this paper, we revisit
logit-based distillation and reveal an underexplored yet critical element:
Top-K knowledge. Motivated by this insight, we propose Top-scaled Knowledge
Distillation (TopKD), a simple, efficient, and architecture-agnostic framework
that significantly enhances logit-based distillation. TopKD consists of two
main components: (1) a Top-K Scaling Module (TSM), which adaptively amplifies
the most informative logits, and (2) a Top-K Decoupled Loss (TDL), which offers
targeted and effective supervision. Notably, TopKD integrates seamlessly into
existing KD methods without introducing extra modules or requiring
architectural changes. Extensive experiments on CIFAR-100, ImageNet, STL-10,
and Tiny-ImageNet demonstrate that TopKD consistently surpasses
state-of-the-art distillation methods. Moreover, our method demonstrates
substantial effectiveness when distilling Vision Transformers, underscoring its
versatility across diverse network architectures. These findings highlight the
significant potential of logits to advance knowledge distillation.
Ссылки и действия
Дополнительные ресурсы: