Low-Rank Adaptation of Evolutionary Deep Neural Networks for Efficient Learning of Time-Dependent PDEs

## Контекст В области систем стохастической динамики, включая моделирование временных зависимых частных дифференциальных уравнений (PDEs), существует необходимость в эффективных алгоритмах, которые могут быстро и точно решать такие задачи. Традиционные методы численного решения PDEs, такие как метод конечных элементов, часто требуют значительных ресурсов вычислительных мощностей и времени. Однако появление нейросетевых моделей, таких как глубокие нейронные сети, предоставило новые возможности для точного и эффективного моделирования PDEs. Одной из перспективных технологий является Evolutionary Deep Neural Network (EDNN), которая предлагает решение PDEs с помощью нейронных сетей, эволюционно адаптирующихся к задаче. Однако EDNN может стать вычислительно дорогостоящим при работе с высокоразмерными сетями, требующими оптимизации. В этом исследовании мы рассмотрим новую модификацию EDNN, называемую Low-Rank Evolutionary Deep Neural Network (LR-EDNN), которая уменьшает вычислительную сложность благодаря горизонтальной ограниченности параметрического пространства. ## Метод LR-EDNN использует технологию низкоранговой адаптации для сокращения размерности пространства параметров сети. Это достигается за счет ограничения всех весов сети в каждом слое в рамках низкорангового подпространства, определяемого с помощью Singular Value Decomposition (SVD). Обновление параметров проводится в этом низкоранговом подпространстве, что позволяет уменьшить количество вычисляемых операций и, следовательно, уменьшить вычислительный затрат. Мы определяем динамику сети, используя её веса и их производные по времени, которые были преобразованы в низкоранговое пространство. Это позволяет сохранить точность решения PDE, при этом снижая затраты ресурсов на обучение. ## Результаты Мы проводили эксперименты на нескольких репрезентативных задачах решения PDEs, включая моделирование волновых процессов и течения жидкости. Мы сравнили результаты LR-EDNN с базовыми версиями EDNN и другими методами численного решения PDEs. Эксперименты показали, что LR-EDNN обеспечивает почти такую же точность решения PDE, как и EDNN, но с значительно меньшими вычислительными затратами. Например, при решении задачи моделирования волновых процессов, сеть LR-EDNN потребовала примерно 30% меньше вычислительных операций, чем традиционный EDNN. Это достигается благодаря уменьшению размерности пространства параметров и эффективному использованию SVD в процессе обучения. ## Значимость LR-EDNN может быть применено в различных областях, таких как моделирование климатических процессов, финансовое моделирование, моделирование систем машинного зрения, где требуется сложная модель, но при этом необходима эффе