Expressive Power of Deep Networks on Manifolds: Simultaneous Approximation

## Контекст В настоящее время в сфере научных вычислений одной из главных проблем является решение частных дифференциальных уравнений (PDEs) на сложных геометрических объектах. Значительная сложность возникает из-за криволинейной геометрии, которая усложняет точное вычисление функций и их производных, требуемых для решения PDEs. Данный аспект требует развития новых методологий и алгоритмов, которые могут эффективно работать в такой среде. Данная статья привносит основу для продвижения теории обучения сетей на нейронных сетях на многообразиях, что является ключевым вопросом в широком спектре приложений, таких как геометрически сложные области, а также в области решения PDEs в таких областях как астрономия, геология и физика. ## Метод В этой работе предлагается новая теория конкурентной аппроксимации для нейросетей на многообразиях. Используется архитектура с глубокими нейросетями, включающих в себя активационную функцию ReLU, которая имеет ограниченные веса. Эта архитектура может аппроксимировать функции в холдер-зыгмундских пространствах и в сфере $\mathcal{W}_p^{k}(\mathcal{M}^d)$. Работа включает в себя определение понятия "необходимого количества сетевых параметров" для точного аппроксимирования функций в указанных пространствах. Также рассматривается схожесть существующих методов с новым подходом, а также анализ эффективности новой архитектуры в случае решения PDEs на криволинейных многообразиях. ## Результаты В ходе исследования установлено, что для аппроксимации функций в пространстве $\mathcal{W}_p^{k}(\mathcal{M}^d)$, где $k \geq 3$ и $s < k$, а также в холдер-зыгмундских пространствах, требуется не более чем $\mathcal{O}(\varepsilon^{-d/(k-s)})$ нейросетевых параметров. Это доказывается также для случая $\mathcal{W}_p^{k}(\mathcal{M}^d)$, где $k \geq 3$. Анализ показывает, что эта структура сети эффективно использует геометрию многообразия, при этом относительно небольшое количество сетевых параметров позволяет решать PDEs на криволинейных объектах с высокой точностью. Также были получены нижние оценки для необходимого количества параметров, показав, что алгоритм почти оптимален. ## Значимость Результаты этого исследования имеют значительное значение в нескольких областях. Они могут быть применены для решения PDEs на криволинейных геометрических объектах, что имеет применение в области астрономии, геологии, физики и других. Также, эти результаты могут быть успешно применены в области машинного обучения для решения задач, которые требуют высокой точности и эффективности. В дальнейшем, эти