Synaptic Pruning: A Biological Inspiration for Deep Learning Regularization

## Контекст В области нейронаучных исследований одной из актуальных проблем является улучшение регуляризационных методов, применяемых в нейронных сетях. Одним из важных аспектов этого вопроса является механизм **synaptic pruning** в биологических мозгах, когда медленные или ненужные синаптические связи удаляются для оптимизации эффективности работы системы. В то же время, в случае артифициальных нейронных сетей, методы регуляризации, такие как **dropout**, не учитывают активность связей и произвольно удаляют нейроны, что может привести к потере значимых связей. Это приводит к необходимости разработки более эффективных методов, которые будут ближе адаптированы к принципам биологических систем. ## Метод В ходе исследования был разработан **magnitude-based synaptic pruning** метод, который динамически оценивает важность связей во время обучения нейронных сетей. Метод интегрируется непосредственно в цикл обучения в качестве альтернативы к стандартному методу **dropout**. Визуально он работает так: во время обучения происходит временное отключение слабых связей (применяется подход с **progressive sparsification**), что позволяет сохранить градиентный поток для активных связей. Таким образом, в каждом шаге обучения происходит уменьшение глобального спарсинга в сети, что приводит к улучшению производительности. Также, для управления этим процессом введена **cubic schedule**, которая регулирует степень спарсинга в зависимости от времени обучения. Этот подход позволяет избежать отдельного этапа прунинга и последующего оптимизации, который традиционно применяется в других методах. ## Результаты Разработанный метод был проверен на нескольких моделях временных рядов, включая **RNN**, **LSTM** и **Patch Time Series Transformer**, на четырёх различных датасетах. Он показал статистически значимые улучшения в сравнении с базовыми моделями и моделями с применением стандартного **dropout**. Например, в случае финансового прогнозирования, **magnitude-based synaptic pruning** уменьшил **Mean Absolute Error (MAE)** до 20% в сравнении с моделями без регуляризации, и даже до 52% при использовании некоторых моделей трансформеров. Этот результат подтверждает значительную эффективность нового метода в регуляризации нейронных сетей. ## Значимость Новый подход может быть применен в различных областях, таких как **финансовый анализ**, **рекомендательные системы**, **идентификация объектов на изображениях** и др. Благодаря тому, что он динамически оптимизирует сеть в процессе обучения, он предлагает более эффективное решение, чем стандартные методы. Это дает потенциал для улучшения производительности моделей в сложных задачах, таких как прогнозирование финансовых показа