Boosting the Robustness-Accuracy Trade-off of SNNs by Robust Temporal Self-Ensemble
2508.11279v1
cs.LG, cs.CV
2025-08-19
Авторы:
Jihang Wang, Dongcheng Zhao, Ruolin Chen, Qian Zhang, Yi Zeng
Резюме на русском
#### Контекст
Spiking Neural Networks (SNNs) представляют собой перспективную область исследований в области энергоэффективного и биоинспирированного вычисления. Однако недавние исследования показали, что SNNs остаются уязвимыми к адверсарным напротивлениям, что существенно ограничивает их применение в реальном мире. Несмотря на прогресс в области обучения SNNs, остается недостаточно понимания, как улучшить их прочность без потери точности. Эта проблема напрягает заинтересованных сторон, в том числе ученых, разработчиков и бизнес-предпринимателей, которые ищут более надежные алгоритмы для безопасного и эффективного использования SNNs в различных приложениях, таких как беспилотные транспортные средства, медицинские исследования и системы безопасности. Изучение методов, позволяющих объединить высокую точность и прочность SNNs, является ключевым мотивационным фактором для данного исследования.
#### Метод
Разработанное в данной работе Robust Temporal Self-Ensemble (RTE) основано на идее, что SNN может быть рассмотрено как сборка многочисленных подсетей, которые формируются на каждом шаге времени. Данный подход позволяет использовать взаимосвязь между подсетями для повышения устойчивости сети к адверсарным воздействиям. Ключевым элементом RTE является идея **Robust Temporal Ensembling**, которая включает в себя следующие компоненты:
1. **Улучшение прочности каждого подсети**: каждая подсеть обучается с учетом воздействия адверсарных напротивлений, чтобы повысить свою самостоятельную прочность.
2. **Снижение влияния переходных временных структур**: RTE уменьшает "переходные" уязвимости временных подсетей, чтобы предотвратить легкое переносное напротивление между кадрами времени.
3. **Оптимизация с помощью универсального подхода**: RTE имеет унифицированный фреймворк, в котором задачи улучшения прочности и снижения переходных уязвимостей объединены в одну цель.
4. **Стратегия стохастической выборки**: RTE использует стохастический выбор подсетей для эффективного оптимизационного процесса, что позволяет снизить вычислительную сложность и увеличить скорость обучения.
Эта методология представляет собой новый подход к решению проблемы прочности SNNs, который не только улучшает их работу в адверсарных условиях, но и обеспечивает более точные результаты при выполнении различных задач.
#### Результаты
В рамках этого исследования были проведены эксперименты на нескольких популярных бенчмарках для подтверждения эффективности RTE. Использовались различные наборы данных, такие как MNIST, CIFAR-10 и N-MNIST. В результате:
- **Прочность к адверсарным напротивлениям**: RTE оказалась существенно ус
Abstract
Spiking Neural Networks (SNNs) offer a promising direction for
energy-efficient and brain-inspired computing, yet their vulnerability to
adversarial perturbations remains poorly understood. In this work, we revisit
the adversarial robustness of SNNs through the lens of temporal ensembling,
treating the network as a collection of evolving sub-networks across discrete
timesteps. This formulation uncovers two critical but underexplored
challenges-the fragility of individual temporal sub-networks and the tendency
for adversarial vulnerabilities to transfer across time. To overcome these
limitations, we propose Robust Temporal self-Ensemble (RTE), a training
framework that improves the robustness of each sub-network while reducing the
temporal transferability of adversarial perturbations. RTE integrates both
objectives into a unified loss and employs a stochastic sampling strategy for
efficient optimization. Extensive experiments across multiple benchmarks
demonstrate that RTE consistently outperforms existing training methods in
robust-accuracy trade-off. Additional analyses reveal that RTE reshapes the
internal robustness landscape of SNNs, leading to more resilient and temporally
diversified decision boundaries. Our study highlights the importance of
temporal structure in adversarial learning and offers a principled foundation
for building robust spiking models.
Ссылки и действия
Дополнительные ресурсы: