A Kernel-based Stochastic Approximation Framework for Nonlinear Operator Learning

2509.11070v2 stat.ML, cs.LG, cs.NA, math.FA, math.NA, math.ST, stat.TH 2025-09-18
Авторы:

Jia-Qi Yang, Lei Shi

Резюме на русском

## Контекст Исследование основано на развитии статистических и математических методов для обучения нелинейных операторов между бесконечномерными пространствами. Традиционно, обучение нелинейных операторов сталкивается с проблемами, такими как высокая размерность пространств, ограниченная точность и ограниченные области применения. Необходимость развития эффективных и универсальных подходов, которые могут преодолеть эти ограничения, породила мотивацию для настоящего исследования. Текущие методы часто ограничены своим применением к линейным или диагональным операторам, не учитывая более широкие структуры моделей и их теоретические гарантии. ## Метод Предложенный фреймворк основывается на понятиях стохастической аппроксимации и обобщенных оператор-значных ядер (Mercer operator-valued kernels). Он охватывает две ключевые классы операторов: (i) компактные ядра, которые позволяют дискретной спектральной декомпозиции, и (ii) диагональные ядра, заданные как $K(x,x') = k(x,x')T$, где $k$ — это ядро отрезка, а $T$ — положительный оператор на выходном пространстве. Этот подход позволяет строить богатые векторно-значные пространства репрезентативного ядра (RKHS), которые расширяют классический подход $K = kI$. Для адресации операторов, не лежащих в RKHS, введены векторно-значные интерполяционные пространства для точного определения ошибки несоответствия. Этот фреймворк обладает гибкостью и может применяться к различным задачам обучения, включая целостные операторы, такие как Фредгольмовы операторы, и архитектуры на основе кодировщика-декодировщика. ## Результаты Проведены эксперименты на двумерных Навье-Стоксах, которые подтвердили высокую точность и стабильность метода. Использовались данные, симулирующие реальные процессы, чтобы проверить фреймворк на реальных задачах. Результаты показали, что фреймворк не только преодолевает ограничения линейных подходов, но и достигает полиномиальных полиномиальных скоростей сходимости в зависимости от размерности пространства. Это позволяет использовать метод для задач, требующих сложных нелинейных моделей, включая решение Навье-Стоксов и других типов решений, где необходимы точные и высокоточные решения. ## Значимость Предложенный фреймворк имеет широкие области применения в области обучения нелинейных операторов, включая физические задачи, медицину, экономику и другие. Он предоставляет высокую точность и гибкость, что позволяет его применять в сложных моделях, таких как динамические системы, которые необходимы в различных научных и практических областях. Основные преимущества включают в с

Abstract

We develop a stochastic approximation framework for learning nonlinear operators between infinite-dimensional spaces utilizing general Mercer operator-valued kernels. Our framework encompasses two key classes: (i) compact kernels, which admit discrete spectral decompositions, and (ii) diagonal kernels of the form $K(x,x')=k(x,x')T$, where $k$ is a scalar-valued kernel and $T$ is a positive operator on the output space. This broad setting induces expressive vector-valued reproducing kernel Hilbert spaces (RKHSs) that generalize the classical $K=kI$ paradigm, thereby enabling rich structural modeling with rigorous theoretical guarantees. To address target operators lying outside the RKHS, we introduce vector-valued interpolation spaces to precisely quantify misspecification error. Within this framework, we establish dimension-free polynomial convergence rates, demonstrating that nonlinear operator learning can overcome the curse of dimensionality. The use of general operator-valued kernels further allows us to derive rates for intrinsically nonlinear operator learning, going beyond the linear-type behavior inherent in diagonal constructions of $K=kI$. Importantly, this framework accommodates a wide range of operator learning tasks, ranging from integral operators such as Fredholm operators to architectures based on encoder-decoder representations. Moreover, we validate its effectiveness through numerical experiments on the two-dimensional Navier-Stokes equations.

Ссылки и действия

Связанные статьи

Kernel-based Stochastic Approximation Framework for Nonlinear Operator Learning

## Контекст Обучение нелинейных операторов в инфините dimensions является ключевым заданием в математических моделях, ди...

2025-09-17