Dual-Model Weight Selection and Self-Knowledge Distillation for Medical Image Classification

## Контекст В области медицинских изображений, автоматическая классификация заболеваний на основе изображений является ключевым вопросом, поскольку она позволяет улучшить точность диагноза и эффективность диагностики. Однако существуют две значительные проблемы: нехватка вычислительных ресурсов для развертывания объемных моделей и необходимость сохранения высокой точности даже при использовании компактных моделей. Эти ограничения влекут за собой значительные трудности в практической реализации. Легковесные модели, которые могут сохранять высокую точность и глубину анализа, являются критически важными для решения этих задач. ## Метод Метод, предложенный в работе, основывается на двух основных компонентах: стратегии двойного выбора весов моделей и самостоятельной вставке знаний (Self-Knowledge Distillation, SKD). Для начала используется большая предобученная модель, из которой извлекаются веса для инициализации двух легковесных моделей. Это позволяет эффективно передавать знания из большой модели в меньшие. Далее, применяется SKD, что позволяет эффективно обучать модели с разными начальными весами без дополнительных вычислительных затрат. Наконец, эти модели проходят фине-тюнинг для конкретных задач классификации медицинских изображений. Эта комбинация двух техник позволяет сохранять критическую информацию в легковесных моделях и повышает их точность и устойчивость. ## Результаты Исследования проводились на трех различных наборах данных: снимках рентгеновских изображений грудной клетки, компьютерных томограммах лёгких и магнитных резонансных сканнах мозга. Метод эффективно классифицировал различные заболевания, включая тяжелые, такие как Covid-19, туберкулёз и рак лёгких. Эксперименты показали, что наша модель показывает высокую точность и устойчивость по сравнению с другими текущими подходами. Особенно выгодно отличается наш подход в легковесных моделях, которые показывают почти одинаковую точность, но требуют меньших вычислительных ресурсов. ## Значимость Предложенный подход может быть распространен в различных медицинских задачах, таких как диагностика респираторных заболеваний, мозговых травм и других критически важных заболеваний. Он предлагает выгоды, такие как эффективность вычислений, уменьшение требований к ресурсам и сохранение высокой точности. Это может способствовать улучшению доступности медицинского анализа и диагностики в различных регионах, в том числе тех, где доступ к высокопроизводительным вычислительным системам ограничен. ## Выводы Мы указали, что наш метод, комбинирующий двойной выбор весов и