Deep Self-knowledge Distillation: A hierarchical supervised learning for coronary artery segmentation
2509.03173v1
eess.IV, cs.CV, cs.LG
2025-09-05
Авторы:
Mingfeng Lin
Резюме на русском
#### Контекст
Коронарная артерия — ключевой элемент легких систем кровообращения. Моделирование и анализ коронарных артерий являются важными задачами в медицинской инженерии и искусственном интеллекте. Автоматическая сегментация коронарных артерий на X-рентропических изображениях является трудоемкой и неэффективной задачей, которая может быть улучшена с помощью автоматизированных моделей. Однако, существующие методы, включая правила-основанные и модели глубокого обучения, сталкиваются с проблемами слабой точности, ограниченной общимостью и неэффективностью передачи знаний. Эти проблемы ограничивают полную эффективность моделей в клиническом применении.
#### Метод
Для решения этих проблем предложен метод Deep Self-knowledge Distillation, основанный на новых техниках глубокого обучения. Метод использует Deep Distribution Loss для регулирования глобального распределения выходных данных модели и Pixel-wise Self-knowledge Distillation Loss для регулирования локального пиксельного распределения. Эта модель основывается на структуре двух уровней: глубокий теачер-модель (teacher model) и студент-модель (student model). Теачер-модель генерирует вектора распределения в глубине, а student-модель использует пиксель-уровневые научные знания для детализированного моделирования. Это решение обеспечивает двойное терморегулирование модели, что увеличивает ее обобщаемость и устойчивость.
#### Результаты
Многочисленные эксперименты проводились на двух датасетах: XCAD и DCA1. Модель Deep Self-knowledge Distillation показала лучшие результаты по таким метрикам, как Dice Coefficient, Accuracy, Sensitivity и IoU, в сравнении с другими моделями. Этот результат свидетельствует о том, что подход Deep Self-knowledge Distillation позволяет повысить точность, универсальность и эффективность модели в сегментации коронарных артерий.
#### Значимость
Данный подход может быть применен в клинической практике для улучшения точности диагноза коронарной артерии, а также в области искусственного интеллекта для развития моделей обучения на основе знаний. Особый потенциал заключается в том, что модель Deep Self-knowledge Distillation позволяет повысить общимость и точность моделей, а также предоставить новые возможности для дальнейшего исследования моделей глубокого обучения в медицинских задачах.
#### Выводы
Метод Deep Self-knowledge Distillation задает новый шаг в развитии моделей глубокого обучения для сегментации коронарных артерий. В будущем, подход может быть расширен для решения других задач медицинского анализа изображений, а также для повышения общимости моделей глубокого обучения в различных сегментационных задачах.
Abstract
Coronary artery disease is a leading cause of mortality, underscoring the
critical importance of precise diagnosis through X-ray angiography. Manual
coronary artery segmentation from these images is time-consuming and
inefficient, prompting the development of automated models. However, existing
methods, whether rule-based or deep learning models, struggle with issues like
poor performance and limited generalizability. Moreover, current knowledge
distillation methods applied in this field have not fully exploited the
hierarchical knowledge of the model, leading to certain information waste and
insufficient enhancement of the model's performance capabilities for
segmentation tasks. To address these issues, this paper introduces Deep
Self-knowledge Distillation, a novel approach for coronary artery segmentation
that leverages hierarchical outputs for supervision. By combining Deep
Distribution Loss and Pixel-wise Self-knowledge Distillation Loss, our method
enhances the student model's segmentation performance through a hierarchical
learning strategy, effectively transferring knowledge from the teacher model.
Our method combines a loosely constrained probabilistic distribution vector
with tightly constrained pixel-wise supervision, providing dual regularization
for the segmentation model while also enhancing its generalization and
robustness. Extensive experiments on XCAD and DCA1 datasets demonstrate that
our approach outperforms the dice coefficient, accuracy, sensitivity and IoU
compared to other models in comparative evaluations.
Ссылки и действия
Дополнительные ресурсы: