Architectural Insights into Knowledge Distillation for Object Detection: A Comprehensive Review
2508.03317v1
cs.CV, 68T07, I.4.8
2025-08-09
Авторы:
Mahdi Golizadeh, Nassibeh Golizadeh, Mohammad Ali Keyvanrad, Hossein Shirazi
Резюме на русском
Объектный выявление (object detection) — важная задача в области глубокого обучения, которая сталкивается с проблемой высокого вычислительного воздействия. Работа "Architectural Insights into Knowledge Distillation for Object Detection: A Comprehensive Review" рассматривает эффективное решение — Knowledge Distillation (KD), которое позволяет уменьшить размер модели без существенного потери точности. Однако применение KD в области объектного выявления сложно осуществить из-за нескольких особенностей данной задачи: классификация и локализация, несбалансированность между foreground и background, а также многомерность представления признаков. Авторы предлагают архитектурно-центрическую таксономию KD-методов, разделив их на категории для CNN- и Transformer-based detectors. Методы были оценены на MS COCO и PASCAL VOC с метрикой [email protected]. Результаты показывают, что KD может эффективно уменьшить модели, при этом сохраняя их качество.
Abstract
Object detection has achieved remarkable accuracy through deep learning, yet
these improvements often come with increased computational cost, limiting
deployment on resource-constrained devices. Knowledge Distillation (KD)
provides an effective solution by enabling compact student models to learn from
larger teacher models. However, adapting KD to object detection poses unique
challenges due to its dual objectives-classification and localization-as well
as foreground-background imbalance and multi-scale feature representation. This
review introduces a novel architecture-centric taxonomy for KD methods,
distinguishing between CNN-based detectors (covering backbone-level,
neck-level, head-level, and RPN/RoI-level distillation) and Transformer-based
detectors (including query-level, feature-level, and logit-level distillation).
We further evaluate representative methods using the MS COCO and PASCAL VOC
datasets with [email protected] as performance metric, providing a comparative analysis
of their effectiveness. The proposed taxonomy and analysis aim to clarify the
evolving landscape of KD in object detection, highlight current challenges, and
guide future research toward efficient and scalable detection systems.
Ссылки и действия
Дополнительные ресурсы: