FMCE-Net++: Feature Map Convergence Evaluation and Training

#### Контекст Текущие глубокие нейронные сети (DNNs) сталкиваются с трудностями в интерпретируемости их внутренних представлений. Хотя Feature Map Convergence Evaluation (FMCE) предлагает метод для оценки модулярного уровня сходимости через Feature Map Convergence Scores (FMCS), он недостаточно проверен экспериментально и не интегрирован с обучением. Этот недостаток приводит к уменьшенной точности и неэффективности моделей в задачах классификации. Для устранения этой проблемы мы предлагаем FMCE-Net++, новую структуру, которая интегрирует замороженную FMCE-Net в качестве вспомогательного модуля для оценки FMCS и динамического оптимизации основной модели. #### Метод FMCE-Net++ включает в себя замороженный FMCE-Net в качестве вспомогательного заголовка, который вычисляет FMCS для каждого модуля сети. Эти оценки, вместе с метками задачи, подаются в Representation Auxiliary Loss (RAL), который динамически регулирует баланс между основной задачей классификации и оптимизацией сходимости функций. Регулятор Representation Abstraction Factor (RAF) позволяет динамически адаптировать силу вклада вспомогательного модуля в обучение. Это гибкое решение интегрирует FMCE в обучение, не требуя изменений архитектуры или дополнительных данных. #### Результаты Мы провели исследования на MNIST, CIFAR-10, FashionMNIST и CIFAR-100, используя модели ResNet-50, ShuffleNet v2 и другие. Результаты показали значительные улучшения в точности: $+1.16$ pp для ResNet-50 на CIFAR-10 и $+1.08$ pp для ShuffleNet v2 на CIFAR-100. Эти результаты демонстрируют, что FMCE-Net++ может повысить эффективность сетей без изменений архитектуры или дополнительных данных, повысив их моделируемую точность. #### Значимость Предлагаемый подход может быть применен в различных областях, где требуется улучшение точности без увеличения сложности модели или доступа к большому количеству данных. FMCE-Net++ демонстрирует выгоду в скейлируемости и универсальности, может быть использован в задачах классификации изображений и даже в задачах с более сложными входными данными. Этот подход также открывает пути для дальнейшего исследования в области интерпретируемости и оптимизации DNNs. #### Выводы FMCE-Net++ достигает значительных выгод в точности без дополнительных изменений архитектуры или дополнительных данных. Он показывает, что интеграция FMCE в обучение может быть эффективным инструментом для повышения моделируемой точности. Будущие исследования будут сфокусированы на расширении применения FMCE-Net++ к более сложным задачам и развитии его вариантов для других видов DNNs.