Deep Self-knowledge Distillation: A hierarchical supervised learning for coronary artery segmentation

2509.03173v1 eess.IV, cs.CV, cs.LG 2025-09-05
Авторы:

Mingfeng Lin

Резюме на русском

#### Контекст Коронарная артерия — ключевой элемент легких систем кровообращения. Моделирование и анализ коронарных артерий являются важными задачами в медицинской инженерии и искусственном интеллекте. Автоматическая сегментация коронарных артерий на X-рентропических изображениях является трудоемкой и неэффективной задачей, которая может быть улучшена с помощью автоматизированных моделей. Однако, существующие методы, включая правила-основанные и модели глубокого обучения, сталкиваются с проблемами слабой точности, ограниченной общимостью и неэффективностью передачи знаний. Эти проблемы ограничивают полную эффективность моделей в клиническом применении. #### Метод Для решения этих проблем предложен метод Deep Self-knowledge Distillation, основанный на новых техниках глубокого обучения. Метод использует Deep Distribution Loss для регулирования глобального распределения выходных данных модели и Pixel-wise Self-knowledge Distillation Loss для регулирования локального пиксельного распределения. Эта модель основывается на структуре двух уровней: глубокий теачер-модель (teacher model) и студент-модель (student model). Теачер-модель генерирует вектора распределения в глубине, а student-модель использует пиксель-уровневые научные знания для детализированного моделирования. Это решение обеспечивает двойное терморегулирование модели, что увеличивает ее обобщаемость и устойчивость. #### Результаты Многочисленные эксперименты проводились на двух датасетах: XCAD и DCA1. Модель Deep Self-knowledge Distillation показала лучшие результаты по таким метрикам, как Dice Coefficient, Accuracy, Sensitivity и IoU, в сравнении с другими моделями. Этот результат свидетельствует о том, что подход Deep Self-knowledge Distillation позволяет повысить точность, универсальность и эффективность модели в сегментации коронарных артерий. #### Значимость Данный подход может быть применен в клинической практике для улучшения точности диагноза коронарной артерии, а также в области искусственного интеллекта для развития моделей обучения на основе знаний. Особый потенциал заключается в том, что модель Deep Self-knowledge Distillation позволяет повысить общимость и точность моделей, а также предоставить новые возможности для дальнейшего исследования моделей глубокого обучения в медицинских задачах. #### Выводы Метод Deep Self-knowledge Distillation задает новый шаг в развитии моделей глубокого обучения для сегментации коронарных артерий. В будущем, подход может быть расширен для решения других задач медицинского анализа изображений, а также для повышения общимости моделей глубокого обучения в различных сегментационных задачах.

Abstract

Coronary artery disease is a leading cause of mortality, underscoring the critical importance of precise diagnosis through X-ray angiography. Manual coronary artery segmentation from these images is time-consuming and inefficient, prompting the development of automated models. However, existing methods, whether rule-based or deep learning models, struggle with issues like poor performance and limited generalizability. Moreover, current knowledge distillation methods applied in this field have not fully exploited the hierarchical knowledge of the model, leading to certain information waste and insufficient enhancement of the model's performance capabilities for segmentation tasks. To address these issues, this paper introduces Deep Self-knowledge Distillation, a novel approach for coronary artery segmentation that leverages hierarchical outputs for supervision. By combining Deep Distribution Loss and Pixel-wise Self-knowledge Distillation Loss, our method enhances the student model's segmentation performance through a hierarchical learning strategy, effectively transferring knowledge from the teacher model. Our method combines a loosely constrained probabilistic distribution vector with tightly constrained pixel-wise supervision, providing dual regularization for the segmentation model while also enhancing its generalization and robustness. Extensive experiments on XCAD and DCA1 datasets demonstrate that our approach outperforms the dice coefficient, accuracy, sensitivity and IoU compared to other models in comparative evaluations.

Ссылки и действия