A Kernel-based Stochastic Approximation Framework for Nonlinear Operator Learning
2509.11070v2
stat.ML, cs.LG, cs.NA, math.FA, math.NA, math.ST, stat.TH
2025-09-18
Авторы:
Jia-Qi Yang, Lei Shi
Резюме на русском
## Контекст
Исследование основано на развитии статистических и математических методов для обучения нелинейных операторов между бесконечномерными пространствами. Традиционно, обучение нелинейных операторов сталкивается с проблемами, такими как высокая размерность пространств, ограниченная точность и ограниченные области применения. Необходимость развития эффективных и универсальных подходов, которые могут преодолеть эти ограничения, породила мотивацию для настоящего исследования. Текущие методы часто ограничены своим применением к линейным или диагональным операторам, не учитывая более широкие структуры моделей и их теоретические гарантии.
## Метод
Предложенный фреймворк основывается на понятиях стохастической аппроксимации и обобщенных оператор-значных ядер (Mercer operator-valued kernels). Он охватывает две ключевые классы операторов: (i) компактные ядра, которые позволяют дискретной спектральной декомпозиции, и (ii) диагональные ядра, заданные как $K(x,x') = k(x,x')T$, где $k$ — это ядро отрезка, а $T$ — положительный оператор на выходном пространстве. Этот подход позволяет строить богатые векторно-значные пространства репрезентативного ядра (RKHS), которые расширяют классический подход $K = kI$. Для адресации операторов, не лежащих в RKHS, введены векторно-значные интерполяционные пространства для точного определения ошибки несоответствия. Этот фреймворк обладает гибкостью и может применяться к различным задачам обучения, включая целостные операторы, такие как Фредгольмовы операторы, и архитектуры на основе кодировщика-декодировщика.
## Результаты
Проведены эксперименты на двумерных Навье-Стоксах, которые подтвердили высокую точность и стабильность метода. Использовались данные, симулирующие реальные процессы, чтобы проверить фреймворк на реальных задачах. Результаты показали, что фреймворк не только преодолевает ограничения линейных подходов, но и достигает полиномиальных полиномиальных скоростей сходимости в зависимости от размерности пространства. Это позволяет использовать метод для задач, требующих сложных нелинейных моделей, включая решение Навье-Стоксов и других типов решений, где необходимы точные и высокоточные решения.
## Значимость
Предложенный фреймворк имеет широкие области применения в области обучения нелинейных операторов, включая физические задачи, медицину, экономику и другие. Он предоставляет высокую точность и гибкость, что позволяет его применять в сложных моделях, таких как динамические системы, которые необходимы в различных научных и практических областях. Основные преимущества включают в с
Abstract
We develop a stochastic approximation framework for learning nonlinear
operators between infinite-dimensional spaces utilizing general Mercer
operator-valued kernels. Our framework encompasses two key classes: (i) compact
kernels, which admit discrete spectral decompositions, and (ii) diagonal
kernels of the form $K(x,x')=k(x,x')T$, where $k$ is a scalar-valued kernel and
$T$ is a positive operator on the output space. This broad setting induces
expressive vector-valued reproducing kernel Hilbert spaces (RKHSs) that
generalize the classical $K=kI$ paradigm, thereby enabling rich structural
modeling with rigorous theoretical guarantees. To address target operators
lying outside the RKHS, we introduce vector-valued interpolation spaces to
precisely quantify misspecification error. Within this framework, we establish
dimension-free polynomial convergence rates, demonstrating that nonlinear
operator learning can overcome the curse of dimensionality. The use of general
operator-valued kernels further allows us to derive rates for intrinsically
nonlinear operator learning, going beyond the linear-type behavior inherent in
diagonal constructions of $K=kI$. Importantly, this framework accommodates a
wide range of operator learning tasks, ranging from integral operators such as
Fredholm operators to architectures based on encoder-decoder representations.
Moreover, we validate its effectiveness through numerical experiments on the
two-dimensional Navier-Stokes equations.