📊 Статистика дайджестов
Всего дайджестов: 34022 Добавлено сегодня: 82
Последнее обновление: сегодня
Авторы:
Wuque Cai, Hongze Sun, Jiayi He, Qianqian Liao, Yunliang Zang, Duo Chen, Dezhong Yao, Daqing Guo
## Контекст
Spiking neural networks (SNNs) являются видом искусственных нейронных сетей, основанным на моделировании биологических нейронов. Они привлекли внимание в артифициальном интеллекте благодаря своей эффективности в обработке информации и низкому потреблению ресурсов. Однако, существующие SNN-модели не достаточно эффективно имитируют сложность и гибкость дендритов биологических нейронов, которые играют ключевую роль в информационном обработке в мозгу. Эта проблема мотивирует развитие новых методов, которые были бы более близки к природе и эффективными в реализации.
## Метод
Метод NSPDI-SNN (Nonlinear Synaptic Pruning and Dendritic Integration in Spiking Neural Networks) предлагает решение этой проблемы. Он включает два основных компонента: **нелинейное дендритное интегрирование (NDI)** и **нелинейное синаптическое редукционное (NSP)**. В NDI вводится нелинейное усиление влияния сигналов, проходящих через дендриты, что улучшает представление спато-временных данных. В NSP введена новая, гибкая структура синаптического редукционного процесса, которая достигает высокой спарсиности нейронных сетей без существенного потери эффективности. Метод эмпирически опробывался на трех датасетах (DVS128 Gesture, CIFAR10-DVS, CIFAR10) и двумя комплексными задачами (речевом распознавании и задаче развития на maze-решении).
## Результаты
Эксперименты показали, что NSPDI-SNN показал высокую эффективность в уменьшении спарсиности с минимальной потерей показателей задачи. На датасетах DVS128 Gesture, CIFAR10-DVS и CIFAR10, NSPDI-SNN демонстрировал значительное превосходство по сравнению с другими моделями. На задачах речевого распознавания и развития на maze-решении, эта модель также продемонстрировала надежные результаты, обозначая широкую сферу применения. Дополнительная аналитика показала, что NSPDI-SNN сохраняет эффективность информационного передачи даже при увеличении спарсиности.
## Значимость
Научная работа NSPDI-SNN имеет значительные приложения в сферах, требующих высокой эффективности и спарсиности нейронных сетей. Например, она может применяться в распознавании речи, обработке изображений и самообучении в сложных задачах. Особенно важным является его потенциал в сенсорных вычислениях, где необходимо минимизировать потребление энергии и увеличить скорость обработки. Этот метод открывает новые возможности для развития быстрых и энергоэффективных систем с учетом природы биологических нейронов.
## Выводы
NSPDI-SNN демонстрирует значительный прогресь в развитии эффективных SNN-методов, используя сложность и нелинейность дендритов би
Annotation:
Spiking neural networks (SNNs) are artificial neural networks based on
simulated biological neurons and have attracted much attention in recent
artificial intelligence technology studies. The dendrites in biological neurons
have efficient information processing ability and computational power; however,
the neurons of SNNs rarely match the complex structure of the dendrites.
Inspired by the nonlinear structure and highly sparse properties of neuronal
dendrites, in this study, we propose an effici...
Авторы:
Jie Su, Weiwei Wang, Zhaotian Gu, Dahui Wang, Tianyi Qian
## Контекст
Современные модели нейросетей стараются воспроизвести работу мозга, специализируясь на разных аспектах обработки информации. Например, некоторые модели способны отфильтровывать шум, но не могут сохранять информацию в памяти надолго. Другие модели успешно запоминают данные, но не эффективно отвечают на шум и внешние воздействия. Это является ключевой проблемой в понимании того, как мозг обрабатывает информацию. Существует необходимость в разработке модели, которая бы объединила в себе эти две функции. Это также имеет практическое значение для создания биоинспирированных искусственных нейронных сетей, которые могут более точно имитировать работу человеческого мозга.
## Метод
Модель представляет собой рекуррентный нейронный сетевой слой, в котором каждая нейрона обрабатывает входные сигналы с помощью два основных механизма: **дивизивное нормализование** и **саморегулируемая эксцитация**. Дивизивное нормализование позволяет модели сильно реагировать на значимые сигналы, при этом сглаживая шумные воздействия. Саморегулируемая эксцитация обеспечивает стабильность во время длительных периодов стимулирования, чтобы сохранить важные данные в памяти. Эти два механизма работают вместе, чтобы обеспечивать гибкость и стабильность в работе модели.
## Результаты
Модель была проверена в двух классических экспериментах. В первом, модель справилась с задачей **работы в шумных условиях**, обрабатывая сигналы в случайном движущемся кинематограмме (RDK). Модель удалось уменьшить влияние шума и сохранить точность в распознавании движения. Во втором эксперименте, модель была использована для **проверки принципов байесовского вывода** в рамках игры "Сортировка карточек" (pWCST). Модель была в состоянии адаптироваться к новым ситуациям и выполнять необходимые выводы, точно как это делает человек. Эти результаты показывают, что модель эффективно обрабатывает информацию в разных сценариях, имея как функцию шумоподавления, так и функцию запоминания.
## Значимость
Разработанная модель может быть применена в различных областях, таких как **робототехника**, **анализ изображений**, и **принятие решений**. Она предлагает новый путь к решению задач, где требуется как точность интерпретации данных, так и способность запоминать их. Из-за своей универсальности, модель может стать базой для создания новых типов искусственных нейронных сетей, которые будут больше похожи на человеческий мозг. Это может привести к развитию новых технологий в области машинного обучения и искусственного инте
Annotation:
Robust information representation and its persistent maintenance are
fundamental for higher cognitive functions. Existing models employ distinct
neural mechanisms to separately address noise-resistant processing or
information maintenance, yet a unified framework integrating both operations
remains elusive -- a critical gap in understanding cortical computation. Here,
we introduce a recurrent neural circuit that combines divisive normalization
with self-excitation to achieve both robust encoding...