Traces Propagation: Memory-Efficient and Scalable Forward-Only Learning in Spiking Neural Networks
2509.13053v1
cs.LG, cs.NE
2025-09-18
Авторы:
Lorenzo Pes, Bojian Yin, Sander Stuijk, Federico Corradi
Резюме на русском
## Контекст
Spiking Neural Networks (SNNs) представляют собой мощный подход к обработке динамических сигналов с пространственно-временной структурой, а также к исследованию принципов обучения, основанных на биологических нейронных системах. Однако, обучение SNNs столкнулось с значительными трудностями, в частности, с задачей кредитного назначения в пространстве и времени. Наиболее распространенным подходом является Backpropagation Through Time (BPTT) со суррогатными градиентами. Однако, BPTT значительно отходит от принципов биологической нейроники, в которых существуют локальные связи между слоями и временными потоками сигналов. Это приводит к высоким требованиям к вычислительным ресурсам и памяти, что ограничивает возможности эффективной обучаемости и возможности использования SNN в устройствах на устье.
## Метод
Мы предлагаем Traces Propagation (TP) — новый подход, основанный на полностью локальной методике обучения, который использует элигибильностные следы для решения проблем кредитного назначения во времени и в пространстве. Технически, TP является forward-only и полностью локальным, не требуя дополнительных матриц для слоёв, что позволяет эффективно масштабироваться. Наш метод объединяет элигибильностные следы с контрастным потери для решения проблемы пространственного кредитного назначения. Эта методика позволяет достичь высокой эффективности и масштабируемости при применении к научным и практическим задачам.
## Результаты
Мы проводили эксперименты с использованием таких данных, как NMNIST, SHD, DVS-GESTURE и DVS-CIFAR10. Наше решение показало высокую эффективность на NMNIST и SHD, демонстрируя значительное превосходство над другими полностью локальными методами. На более сложных датасетах, таких как DVS-GESTURE и DVS-CIFAR10, TP показало конкурентную производительность, даже при масштабировании к глубинным архитектурам SNN, таким как VGG-9. Мы также продемонстрировали мощь TP в практических задачах, таких как классификация слов в Google Speech Commands, что демонстрирует возможность TP для эффективного обучения на мелких устройствах.
## Значимость
Решение TP имеет широкие перспективы применения в сферах, где требуется эффективная обработка динамичных сигналов в реальном времени, таких как распознавание голоса, обработка сигналов сенсоров и обучение на устье. TP отличается своим высоким масштабируемым потенциалом и низкими требованиями к памяти, что делает его привлекательным для использования в устройствах углублённого обучения. Он позволяет решать задачи, где предыдущие подходы, включая BPTT, были неэффективны.
## Выводы
Мы представили Traces Propagation — новый метод, который доби
Abstract
Spiking Neural Networks (SNNs) provide an efficient framework for processing
dynamic spatio-temporal signals and for investigating the learning principles
underlying biological neural systems. A key challenge in training SNNs is to
solve both spatial and temporal credit assignment. The dominant approach for
training SNNs is Backpropagation Through Time (BPTT) with surrogate gradients.
However, BPTT is in stark contrast with the spatial and temporal locality
observed in biological neural systems and leads to high computational and
memory demands, limiting efficient training strategies and on-device learning.
Although existing local learning rules achieve local temporal credit assignment
by leveraging eligibility traces, they fail to address the spatial credit
assignment without resorting to auxiliary layer-wise matrices, which increase
memory overhead and hinder scalability, especially on embedded devices. In this
work, we propose Traces Propagation (TP), a forward-only, memory-efficient,
scalable, and fully local learning rule that combines eligibility traces with a
layer-wise contrastive loss without requiring auxiliary layer-wise matrices. TP
outperforms other fully local learning rules on NMNIST and SHD datasets. On
more complex datasets such as DVS-GESTURE and DVS-CIFAR10, TP showcases
competitive performance and scales effectively to deeper SNN architectures such
as VGG-9, while providing favorable memory scaling compared to prior fully
local scalable rules, for datasets with a significant number of classes.
Finally, we show that TP is well suited for practical fine-tuning tasks, such
as keyword spotting on the Google Speech Commands dataset, thus paving the way
for efficient learning at the edge.
Ссылки и действия
Дополнительные ресурсы: