Deep Residual Echo State Networks: exploring residual orthogonal connections in untrained Recurrent Neural Networks

## Контекст Echo State Networks (ESNs) — это вид необученных Recurrent Neural Networks (RNNs) в контексте Reservoir Computing (RC). Они привлекают внимание своей быстрой и эффективной обработкой данных. Однако, традиционные ESNs часто сталкиваются с проблемами в обработке долгосрочной информации. Это ограничивает их применение в задачах, требующих высокой точности моделирования динамических процессов. Мотивация для данных исследований лежит в необходимости улучшить модели RC для решения задач связанных с долгосрочной рекуррентностью. Deep Residual Echo State Networks (DeepResESNs) представляют собой новую подходящую модель, которая использует глубинные ресурсы с необученными ортогональными резидентными слоями для решения этих проблем. ## Метод DeepResESNs основываются на включении в систему глубинных, необученных эхо-сетей с временными резидентными связями. Резидентные слои строятся таким образом, чтобы обеспечить ортогональность между ними, что позволяет повысить способность модели к моделированию долгосрочных зависимостей. Ортогональные связи генерируются либо случайно, либо с помощью заданной структуры. Математическая модель определяет условия стабильности системы, обеспечивая ее устойчивость при работе. Для экспериментов воспользовались широким набором временных рядов, измеряя точность и надежность модели на различных задачах. ## Результаты Эксперименты показали, что DeepResESNs существенно превосходят традиционные ESNs в задачах, требующих долгосрочного моделирования. Мы проводили эксперименты с разными видами ортогональных связей, обнаружив, что их наличие существенно повышает способность модели к хранению информации в течение долгого времени. Математическая аналитика подтвердила устойчивость модели в различных условиях. Этот подход показал выигрыш в производительности по сравнению с традиционными RC-моделями и даже с некоторыми обученными сетями. ## Значимость DeepResESNs могут быть применены в различных областях, где требуется моделирование долгосрочных релаций данных, таких как финансовый анализ, моделирование климата, анализ сигналов и другие прикладные задачи. Эта модель предоставляет выгоду в своей простоте и эффективности, не требуя сложной обученной архитектуры. Высокая моделируемая точность и способность к долгосрочной рекуррентности делают DeepResESNs привлекательной для задач, где традиционные методы недостаточно эффективны. ## Выводы DeepResESNs представляют собой прорыв в области необученных RNNs, повышая способность моделей к моделированию долгосрочных зависимостей. Мы устанавливаем условия для их устойчивости и демонстрируем их выигрыш в производительности по сравнению с традиционными подходами. Бу