NM-Hebb: Coupling Local Hebbian Plasticity with Metric Learning for More Accurate and Interpretable CNNs

#### Контекст Дилемма высокой точности и низкой интерпретируемости глубоких сверточных нейронных сетей (Deep Convolutional Neural Networks, CNNs) остается значимой проблемой в искусственном интеллекте. Несмотря на их великолепные результаты в задачах классификации, CNNs часто терпят от применению глобальных, градиентно-ориентированных методов обучения. Эти методы приводят к переобучению, неэффективному использованию фильтров и ухудшению интерпретируемости модели. Эти проблемы являются мотивацией для разработки новых подходов, которые объединяют локальные механизмы с дистанционно-акцентированным вниманием. #### Метод Методология NM-Hebb представляет собой двухфазный подход. **Фаза 1** базируется на стандартном супервизированном обучении, но включает дополнительные механизмы: (i) **Hebbian regulariser**, который стимулирует спатспейсные зависимости между активациями и фильтрами, и (ii) **neuromodulator**, который эластично консолидирует параметры без замораживания модели. **Фаза 2**, в свою очередь, использует **pairwise metric learning** для точечного уточнения позиционирования классов в embedding-пространстве. Такой подход объединяет локальные Hebbian-механизмы с глобальными метрическими аспектами для достижения высокой точности и интерпретируемости. #### Результаты Исследования проводились на датасетах CIFAR-10, CIFAR-100 и TinyImageNet с помощью пяти различных архитектур (ResNet-18, VGG-11, MobileNet-v2, EfficientNet-V2 и DenseNet-121). Результаты показали, что NM-Hebb опережает базовые модели и другие методы по точности (до +10.0 pp на CIFAR-10) и Normalised Mutual Information (до +0.15). Эмпирические анализы подтверждают, что модели NM-Hebb продуцируют более структурированные и интерпретируемые фильтры, что улучшает их применимость в задачах обнаружения. #### Значимость NM-Hebb предлагает практическое значение, особенно для ресурс-ограниченных и безопасности-критичных систем. Интеграция Hebbian-механизмов с метрическим обучением делает модели более эффективными в обнаружении и классификации. Эта архитектура может применяться в медицине, транспорте и прочих областях, где точность и модельная прозрачность критичны. #### Выводы NM-Hebb достигает согласованных улучшений в точности по сравнению с базовыми моделями и другими подходами. Он раскрывает перспективы для использования Hebbian-методов в сочетании с метрическим learning для улучшения точности и интерпретируемости CNNs. Будущие исследования будут направлены на расширение NM-Hebb для более крупных датасетов и дополнительных типов задач, таких как задачи регрессии и рекомендательные системы.