Explainable Knowledge Distillation for Efficient Medical Image Classification

## Контекст Область исследования — развитие эффективных инструментов для классификации медицинских изображений, особенно в контексте COVID-19 и рака лёгких. Существуют проблемы, связанные с требованием высокой точности, низким потреблением ресурсов и транспарентностью решений. Наиболее эффективные модели часто требуют больших вычислительных ресурсов, что становится проблемой в клинических условиях. Поэтому, необходима разработка моделей, которые сочетают высокую точность, эффективность и интерпретируемость. Мотивация состоит в разработке систем, которые обладают высоким производительностью и объяснимостью, чтобы обеспечить надежные и практичные решения в области медицинского ИИ. ## Метод Метод заключается в использовании гибридной супервайзед дистилляции для обучения компактной студентской модели на базе ОFA-595 супернета. Работа использует высококачественные теачер-модели, включая VGG19 и лёгкие сети Vision Transformers (Visformer-S и AutoFormer-V2-T). Для обучения используется обобщённая супервайзед дистилляция с использованием граунд-трут етикетов и выходов теачер-моделей в виде мягких целей. Эта модель обучается на двух бенчмарк-датасетах: COVID-QU-Ex и LCS25000. Для визуальной интерпретированности результатов применяется Score-CAM, которая позволяет проанализировать причины прогнозных решений. Методика целью имеет повышение эффективности и доступности решений для клинических применений. ## Результаты Результатами являются наблюдаемые показатели точности, потребление ресурсов и объяснимость моделей. Эксперименты показали, что студентская модель, обученная с помощью дистилляции, сохраняет высокую точность в классификации, в то же время существенно сокращая количество параметров и время инференса. Эти результаты подтверждают эффективность дистилляционного подхода в решении задач классификации медицинских изображений на ресурсоричных устройствах. Данные результаты были получены на двух датасетах COVID-QU-Ex и LCS25000, охватывающих классы COVID-19, здоровый, неCOVID-пневмония, легкие и колонок. Также, проведены визуальные визуализации при помощи Score-CAM, которые позволяют раскрыть причины прогнозов моделей. ## Значимость Результаты имеют значимость в области медицинского ИИ, где эффективность и транспарентность критично важны. Эта модель может быть применена для классификации легких заболеваний, в том числе COVID-19 и рака лёгких, в ресурсозависимых условиях. Улучшенная производительность и снижение потребления ресурсов делают модель привлекательной для кли