Ultralight Polarity-Split Neuromorphic SNN for Event-Stream Super-Resolution
2508.03244v1
cs.CV, cs.LG
2025-08-09
Авторы:
Chuanzhi Xu, Haoxian Zhou, Langyi Chen, Yuk Ying Chung, Qiang Qu
Резюме на русском
Улучшение разрешения изображений в реальном времени для эвент-камер является ключевой проблемой в использовании этих устройств для тонкой перцепции. Мы предлагаем **Ultralight Polarity-Split Neuromorphic SNN**, метод обучения спикенгических нейронных сетей (SNN) для решения этой задачи. Наш подход основан на двух основных инновациях: **Dual-Forward Polarity-Split Event Encoding**, разделяющий положительные и отрицательные события на отдельные пути свертки, и **Learnable Spatio-temporal Polarity-aware Loss (LearnSTPLoss)**, который адаптивно сбалансированно учитывает временные, пространственные и поляритетные свойства изображений. Этот подход удачно объединяет низкую модельную сложность и высокую точность суперрезолюции. Наши результаты показывают, что сеть демонстрирует эффективность на различных датасетах, при этом значительно сокращая размер модели и время выполнения. Эта работа открывает путь к эффективному использованию эвент-камер в реальном времени.
Abstract
Event cameras offer unparalleled advantages such as high temporal resolution,
low latency, and high dynamic range. However, their limited spatial resolution
poses challenges for fine-grained perception tasks. In this work, we propose an
ultra-lightweight, stream-based event-to-event super-resolution method based on
Spiking Neural Networks (SNNs), designed for real-time deployment on
resource-constrained devices. To further reduce model size, we introduce a
novel Dual-Forward Polarity-Split Event Encoding strategy that decouples
positive and negative events into separate forward paths through a shared SNN.
Furthermore, we propose a Learnable Spatio-temporal Polarity-aware Loss
(LearnSTPLoss) that adaptively balances temporal, spatial, and polarity
consistency using learnable uncertainty-based weights. Experimental results
demonstrate that our method achieves competitive super-resolution performance
on multiple datasets while significantly reducing model size and inference
time. The lightweight design enables embedding the module into event cameras or
using it as an efficient front-end preprocessing for downstream vision tasks.
Ссылки и действия
Дополнительные ресурсы: