TDSNNs: Competitive Topographic Deep Spiking Neural Networks for Visual Cortex Modeling
2508.04270v1
cs.NE, cs.CV
2025-08-09
Авторы:
Deming Zhou, Yuetong Fang, Zhaorui Wang, Renjing Xu
Резюме на русском
Модели визуального коры, характеризующиеся топографическим устройством, где специализированные нейроны сгруппированы в зависимости от их функций, хорошо удовлетворяют требованиям эффективности обработки. Однако традиционные глубокие нейронные сети (DNNs), несмотря на их успех в задачах распознавания объектов, не учитывают важность временных динамик в процессе обучения. Эти модели часто показывают низкий уровень поддержки биологической природы и нарушают логику топографической организации. В нашей работе мы предлагаем Topographic Deep Spiking Neural Networks (TDSNNs), которые интегрируют гибридную структуру SNN, заложив в нее не только топографическую организацию, но и временные динамики. Это ставит TDSNN в центр внимания как модели, которая эффективно реплицирует топографические особенности визуальной коры. Мы показали, что наша модель демонстрирует значительно меньшую потерю точности (в том числе на ImageNet) по сравнению с лучшими топографическими DNNs, при этом она показывает лучшую биологическую эмуляцию. Эти результаты указывают на то, что TDSNN может стать мощным инструментом для развития эмуляторов нейронных систем в области AI.
Abstract
The primate visual cortex exhibits topographic organization, where
functionally similar neurons are spatially clustered, a structure widely
believed to enhance neural processing efficiency. While prior works have
demonstrated that conventional deep ANNs can develop topographic
representations, these models largely neglect crucial temporal dynamics. This
oversight often leads to significant performance degradation in tasks like
object recognition and compromises their biological fidelity. To address this,
we leverage spiking neural networks (SNNs), which inherently capture
spike-based temporal dynamics and offer enhanced biological plausibility. We
propose a novel Spatio-Temporal Constraints (STC) loss function for topographic
deep spiking neural networks (TDSNNs), successfully replicating the
hierarchical spatial functional organization observed in the primate visual
cortex from low-level sensory input to high-level abstract representations. Our
results show that STC effectively generates representative topographic features
across simulated visual cortical areas. While introducing topography typically
leads to significant performance degradation in ANNs, our spiking architecture
exhibits a remarkably small performance drop (No drop in ImageNet top-1
accuracy, compared to a 3\% drop observed in TopoNet, which is the
best-performing topographic ANN so far) and outperforms topographic ANNs in
brain-likeness. We also reveal that topographic organization facilitates
efficient and stable temporal information processing via the spike mechanism in
TDSNNs, contributing to model robustness. These findings suggest that TDSNNs
offer a compelling balance between computational performance and brain-like
features, providing not only a framework for interpreting neural science
phenomena but also novel insights for designing more efficient and robust deep
learning models.
Ссылки и действия
Дополнительные ресурсы: