📊 Статистика дайджестов
Всего дайджестов: 34022 Добавлено сегодня: 82
Последнее обновление: сегодня
Авторы:
Davorin Miličević, Ratko Grbić
#### Контекст
Дилемма высокой точности и низкой интерпретируемости глубоких сверточных нейронных сетей (Deep Convolutional Neural Networks, CNNs) остается значимой проблемой в искусственном интеллекте. Несмотря на их великолепные результаты в задачах классификации, CNNs часто терпят от применению глобальных, градиентно-ориентированных методов обучения. Эти методы приводят к переобучению, неэффективному использованию фильтров и ухудшению интерпретируемости модели. Эти проблемы являются мотивацией для разработки новых подходов, которые объединяют локальные механизмы с дистанционно-акцентированным вниманием.
#### Метод
Методология NM-Hebb представляет собой двухфазный подход. **Фаза 1** базируется на стандартном супервизированном обучении, но включает дополнительные механизмы: (i) **Hebbian regulariser**, который стимулирует спатспейсные зависимости между активациями и фильтрами, и (ii) **neuromodulator**, который эластично консолидирует параметры без замораживания модели. **Фаза 2**, в свою очередь, использует **pairwise metric learning** для точечного уточнения позиционирования классов в embedding-пространстве. Такой подход объединяет локальные Hebbian-механизмы с глобальными метрическими аспектами для достижения высокой точности и интерпретируемости.
#### Результаты
Исследования проводились на датасетах CIFAR-10, CIFAR-100 и TinyImageNet с помощью пяти различных архитектур (ResNet-18, VGG-11, MobileNet-v2, EfficientNet-V2 и DenseNet-121). Результаты показали, что NM-Hebb опережает базовые модели и другие методы по точности (до +10.0 pp на CIFAR-10) и Normalised Mutual Information (до +0.15). Эмпирические анализы подтверждают, что модели NM-Hebb продуцируют более структурированные и интерпретируемые фильтры, что улучшает их применимость в задачах обнаружения.
#### Значимость
NM-Hebb предлагает практическое значение, особенно для ресурс-ограниченных и безопасности-критичных систем. Интеграция Hebbian-механизмов с метрическим обучением делает модели более эффективными в обнаружении и классификации. Эта архитектура может применяться в медицине, транспорте и прочих областях, где точность и модельная прозрачность критичны.
#### Выводы
NM-Hebb достигает согласованных улучшений в точности по сравнению с базовыми моделями и другими подходами. Он раскрывает перспективы для использования Hebbian-методов в сочетании с метрическим learning для улучшения точности и интерпретируемости CNNs. Будущие исследования будут направлены на расширение NM-Hebb для более крупных датасетов и дополнительных типов задач, таких как задачи регрессии и рекомендательные системы.
Annotation:
Deep Convolutional Neural Networks (CNNs) achieve high accuracy but often
rely on purely global, gradient-based optimisation, which can lead to
overfitting, redundant filters, and reduced interpretability. To address these
limitations, we propose NM-Hebb, a two-phase training framework that integrates
neuro-inspired local plasticity with distance-aware supervision. Phase 1
extends standard supervised training by jointly optimising a cross-entropy
objective with two biologically inspired mechanis...