A Self-Ensemble Inspired Approach for Effective Training of Binary-Weight Spiking Neural Networks

#### Контекст Появление различных архитектур нейронных сетей в системах машинного обучения способствовало развитию низкоэнергоемких и эффективных решений. Одной из таких архитектур являются Spiking Neural Networks (SNNs), которыми стали символизировать низкую энергоемкость и их подходность для использования на neuromorphic железе. Однако, необходимость использовать обратную проходную оценку (backpropagation) с некоторыми сводительными спайками (surrogate gradients), а также сложность в оптимизации нейронов с бинарными весами, представляют сложности в обучении таких сетей. Binary Neural Networks (BNNs) также сталкиваются с аналогичными проблемами в обучении. В данной работе авторы изучают симметричное соотношение между технологиями SNNs и BNNs, предлагая новую методологию, которая может систематически облегчить процесс обучения binary-weight spiking neural networks (BWSNNs). #### Метод Авторы предлагают новую философию рассмотрения SNNs, подчеркивая их сходство с BNNs, а именно, что обучение feedforward SNNs может рассматриваться как обучение самосборки (self-ensemble) бинарного сетевого активационного компонента с внедрением шума. Это новое понимание SNN динамики вдохновило на предложение Self-Ensemble Inspired (SEI) training method, который может использоваться для обучения BWSNNs. Основными компонентами метода являются структура нескольких шорткатов (shortcuts) и техника знаний передачи (knowledge distillation), которые улучшают процесс обучения. Особенно выдающимся является использование binarization FFN-слоев в Transformer-архитектуре, что позволяет достичь 82.52% точности на популярном датасете ImageNet с во время только 2-х временных шагов. #### Результаты Авторы проводили эксперименты с использованием стандартных датасетов, включая CIFAR-10 и ImageNet. Они сравнивали результаты с другими подходами, показав, что их SEI-BWSNN-метод позволяет достичь высокой точности с низкой энергоемкостью и низким временем обучения. На датасете ImageNet, при использовании только 2-х временных шагов, SEI-BWSNN достиг 82.52% точности, что является высоким показателем, демонстрирующим эффективность нового подхода. #### Значимость Работа предлагает новый подход к обучению BWSNNs, который может быть применен в широком круге приложений, где требуется большая скорость обработки и минимальное потребление энергии. Основные преимущества — это улучшенная точность, эффективность в обучении, а также повышение производительности для низко-бинарных архитектур. Этот подход может поднять перспективы использования SNNs в приложениях, где требуются высокая скорость работы и энергосбережение, такие как IoT, безопасность и даже робототехника. #### Выводы Выводы: Авторы утверждают, что новый под