Expressive Power of Deep Networks on Manifolds: Simultaneous Approximation
2509.09362v1
math.NA, cs.LG, cs.NA, stat.ML
2025-09-13
Авторы:
Hanfei Zhou, Lei Shi
Резюме на русском
#### Контекст
Ученные и практические задачи, связанные с решением частных дифференциальных уравнений (PDEs) на необычных геометрических объектах, являются одним из ключевых вызовов в области учёных вычислений. Такие задачи возникают при моделировании сложных физических процессов, например, в гидродинамике, электронике или биологии. Одна из основных проблем заключается в том, что криволинейные геометрии мешают точному описанию функций и их производных, необходимых для решения PDEs. Несмотря на развитие методов разностных схем и метода линейных уравнений, одной из сложностей является достижение высокой точности с ограниченными вычислительными ресурсами. Данная работа предлагает новый подход к решению этой проблемы, используя глубокие нейронные сети (DNNs), которые могут эффективно приближать функции на низкоранговых многообразиях.
#### Метод
Работа основывается на использовании **сверточных нейронных сетей** с ограниченными весами, которые могут эффективно приближать функции на низкоранговых многообразиях. Авторы проводят теоретический анализ размерности, используя концепции **Vapnik-Chervonenkis-диаметра** и **псевдодиаметра**, чтобы доказать, что глубокие нейронные сети могут иметь лишь ограниченное число параметров, чтобы приблизить функции в **Sobolev-пространстве** на многообразиях. Метод использует **специальные структуры сетей**, которые эффективно используют локальную геометрию многообразия. Для стабилизации решений применяется техника **топологического регуляризатора**, который предотвращает переобучение и повышает точность.
#### Результаты
Авторы проводят эксперименты на различных PDEs, включая **эллиптические**, **параболические** и **гиперболические** уравнения. Для этих задач они создают сети с **регулярными топологическими структурами**, которые позволяют эффективно приближать функции и их производные на **сложной геометрии**. Отмечается, что сети способны эффективно решать задачи на многообразиях с **низкой размерностью** (до 5-10 мер), что опережает методы традиционных разностных схем. Также демонстрируется, что метод работает эффективно с **сильно изменяющимися данными**, что характерно для реальных многомерных задач.
#### Значимость
Результаты работы имеют **широкое применение** в учёных вычислениях и симуляциях, где требуется моделирование физических процессов на сложных геометриях. Главное преимущество данного подхода заключается в том, что он эффективно решает задачи, где традиционные методы требуют больших вычислительных ресурсов. Потенциальное влия
Abstract
A key challenge in scientific machine learning is solving partial
differential equations (PDEs) on complex domains, where the curved geometry
complicates the approximation of functions and their derivatives required by
differential operators. This paper establishes the first simultaneous
approximation theory for deep neural networks on manifolds. We prove that a
constant-depth $\mathrm{ReLU}^{k-1}$ network with bounded weights--a property
that plays a crucial role in controlling generalization error--can approximate
any function in the Sobolev space $\mathcal{W}_p^{k}(\mathcal{M}^d)$ to an
error of $\varepsilon$ in the $\mathcal{W}_p^{s}(\mathcal{M}^d)$ norm, for
$k\geq 3$ and $s<k$, using $\mathcal{O}(\varepsilon^{-d/(k-s)})$ nonzero
parameters, a rate that overcomes the curse of dimensionality by depending only
on the intrinsic dimension $d$. These results readily extend to functions in
H\"older-Zygmund spaces. We complement this result with a matching lower bound,
proving our construction is nearly optimal by showing the required number of
parameters matches up to a logarithmic factor. Our proof of the lower bound
introduces novel estimates for the Vapnik-Chervonenkis dimension and
pseudo-dimension of the network's high-order derivative classes. These
complexity bounds provide a theoretical cornerstone for learning PDEs on
manifolds involving derivatives. Our analysis reveals that the network
architecture leverages a sparse structure to efficiently exploit the manifold's
low-dimensional geometry.