Complexity of Activity Patterns in a Bio-Inspired Hopfield-Type Network in Different Topologies

2509.18758v1 q-bio.NC, cs.AI, nlin.AO, physics.bio-ph 2025-09-25
Авторы:

Marco Cafiso, Paolo Paradisi

Резюме на русском

## Контекст На протяжении многих лет в области компьютерных наук и компьютерной нейроники возникали интересные модели нейронных сетей, способных хранить память. Одним из ключевых примеров является Hopfield-сеть, которая была разработана для решения задач содержательного доступа к памяти. Несмотря на то, что эта модель была тщательно исследована в различных сферах, остается необходимость в глубжейших исследованиях временных динамик в нейронных сетях. Биологические нейронные сети характеризуются не только структурными особенностями, но и свойствами временной динамики. Тем не менее, мало численно изучены различия временных динамик нейронных сетей в зависимости от их топологий. В настоящей работе мы применяем подход, основанный на теории временной сложности (TC), для изучения интермабильности состояний в новом видео-ориентированной модели типа Hopfield. Результаты исследования позволяют углубить понимание того, как различные топологии влияют на временную структуру динамики в сетях. ## Метод Мы использовали новый вид носителя, основанный на модели типа Hopfield, для изучения временной сложности в нейронных сетях. Наш алгоритм настроен на разработку и анализ темпов взаимодействия в сетях с различными топологиями, включая сети с неравномерным распределением связей (scale-free) и случайные сети. Мы определили несколько параметров для измерения временной сложности, таких как показатели метастабильности, интервалы между событиями и общая активность сети. Эксперименты проводились с использованием моделей разных топологий, и мы сравнивали их поведение на основе полученных данных. Это позволило нам выявить влияние топологии на временные характеристики динамики сети. ## Результаты Наши эксперименты показали, что обе топологии — scale-free и случайные — демонстрируют сходные характеристики временной сложности. Однако scale-free сети проявляют большую метастабильность и меньшую шумоизменную активность. На основе показателей TC мы отметили, что оба типа сетей имеют сходные темпы метастабилизации и активности, но в scale-free сетях это происходит с меньшим шумом. Более того, в scale-free сетях было замечено большое количество "центров" (hubs), которые играли ключевую роль в динамике сети, что подтвердило их важность в хранении и обработке информации. ## Значимость Такие исследования имеют потенциал для расширения применений нейронных сетей в биологических системах и машинном обучении. Наш анализ показал, что топология сети может сильно влиять на ее временную структуру и динамику. Scale-free сети, благодаря своим центральным узлам, оказались более эффективными в хранении

Abstract

Neural network models capable of storing memory have been extensively studied in computer science and computational neuroscience. The Hopfield network is a prototypical example of a model designed for associative, or content-addressable, memory and has been analyzed in many forms. Further, ideas and methods from complex network theory have been incorporated into artificial neural networks and learning, emphasizing their structural properties. Nevertheless, the temporal dynamics also play a vital role in biological neural networks, whose temporal structure is a crucial feature to examine. Biological neural networks display complex intermittency and, thus, can be studied through the lens of the temporal complexity (TC) theory. The TC approach look at the metastability of self-organized states, characterized by a power-law decay in the inter-event time distribution and in the total activity distribution or a scaling behavior in the corresponding event-driven diffusion processes. In this study, we present a temporal complexity (TC) analysis of a biologically-inspired Hopfield-type neural network model. We conducted a comparative assessment between scale-free and random network topologies, with particular emphasis on their global activation patterns. Our parametric analysis revealed comparable dynamical behaviors across both neural network architectures. Furthermore, our investigation into temporal complexity characteristics uncovered that seemingly distinct dynamical patterns exhibit similar temporal complexity behaviors. In particular, similar power-law decay in the activity distribution and similar complexity levels are observed in both topologies, but with a much reduced noise in the scale-free topology. Notably, most of the complex dynamical profiles were consistently observed in scale-free network configurations, thus confirming the crucial role of hubs in neural network dynamics.

Ссылки и действия