Complexity of Activity Patterns in a Bio-Inspired Hopfield-Type Network in Different Topologies
2509.18758v1
q-bio.NC, cs.AI, nlin.AO, physics.bio-ph
2025-09-25
Авторы:
Marco Cafiso, Paolo Paradisi
Резюме на русском
## Контекст
На протяжении многих лет в области компьютерных наук и компьютерной нейроники возникали интересные модели нейронных сетей, способных хранить память. Одним из ключевых примеров является Hopfield-сеть, которая была разработана для решения задач содержательного доступа к памяти. Несмотря на то, что эта модель была тщательно исследована в различных сферах, остается необходимость в глубжейших исследованиях временных динамик в нейронных сетях. Биологические нейронные сети характеризуются не только структурными особенностями, но и свойствами временной динамики. Тем не менее, мало численно изучены различия временных динамик нейронных сетей в зависимости от их топологий. В настоящей работе мы применяем подход, основанный на теории временной сложности (TC), для изучения интермабильности состояний в новом видео-ориентированной модели типа Hopfield. Результаты исследования позволяют углубить понимание того, как различные топологии влияют на временную структуру динамики в сетях.
## Метод
Мы использовали новый вид носителя, основанный на модели типа Hopfield, для изучения временной сложности в нейронных сетях. Наш алгоритм настроен на разработку и анализ темпов взаимодействия в сетях с различными топологиями, включая сети с неравномерным распределением связей (scale-free) и случайные сети. Мы определили несколько параметров для измерения временной сложности, таких как показатели метастабильности, интервалы между событиями и общая активность сети. Эксперименты проводились с использованием моделей разных топологий, и мы сравнивали их поведение на основе полученных данных. Это позволило нам выявить влияние топологии на временные характеристики динамики сети.
## Результаты
Наши эксперименты показали, что обе топологии — scale-free и случайные — демонстрируют сходные характеристики временной сложности. Однако scale-free сети проявляют большую метастабильность и меньшую шумоизменную активность. На основе показателей TC мы отметили, что оба типа сетей имеют сходные темпы метастабилизации и активности, но в scale-free сетях это происходит с меньшим шумом. Более того, в scale-free сетях было замечено большое количество "центров" (hubs), которые играли ключевую роль в динамике сети, что подтвердило их важность в хранении и обработке информации.
## Значимость
Такие исследования имеют потенциал для расширения применений нейронных сетей в биологических системах и машинном обучении. Наш анализ показал, что топология сети может сильно влиять на ее временную структуру и динамику. Scale-free сети, благодаря своим центральным узлам, оказались более эффективными в хранении
Abstract
Neural network models capable of storing memory have been extensively studied
in computer science and computational neuroscience. The Hopfield network is a
prototypical example of a model designed for associative, or
content-addressable, memory and has been analyzed in many forms. Further, ideas
and methods from complex network theory have been incorporated into artificial
neural networks and learning, emphasizing their structural properties.
Nevertheless, the temporal dynamics also play a vital role in biological neural
networks, whose temporal structure is a crucial feature to examine. Biological
neural networks display complex intermittency and, thus, can be studied through
the lens of the temporal complexity (TC) theory. The TC approach look at the
metastability of self-organized states, characterized by a power-law decay in
the inter-event time distribution and in the total activity distribution or a
scaling behavior in the corresponding event-driven diffusion processes. In this
study, we present a temporal complexity (TC) analysis of a
biologically-inspired Hopfield-type neural network model. We conducted a
comparative assessment between scale-free and random network topologies, with
particular emphasis on their global activation patterns. Our parametric
analysis revealed comparable dynamical behaviors across both neural network
architectures. Furthermore, our investigation into temporal complexity
characteristics uncovered that seemingly distinct dynamical patterns exhibit
similar temporal complexity behaviors. In particular, similar power-law decay
in the activity distribution and similar complexity levels are observed in both
topologies, but with a much reduced noise in the scale-free topology. Notably,
most of the complex dynamical profiles were consistently observed in scale-free
network configurations, thus confirming the crucial role of hubs in neural
network dynamics.