Kernel-based Stochastic Approximation Framework for Nonlinear Operator Learning

2509.11070v1 stat.ML, cs.LG, cs.NA, math.FA, math.NA, math.ST, stat.TH 2025-09-17
Авторы:

Jia-Qi Yang, Lei Shi

Резюме на русском

## Контекст Обучение нелинейных операторов в инфините dimensions является ключевым заданием в математических моделях, динамических системах и теории сигналов. Несмотря на развитие теоретических подходов, существуют сложности в объяснении и моделировании нелинейных связей в таких задачах. Одним из главных препятствий является "порча мер" — невозможность локализовать нелинейные структуры при большой размерности. Наши исследования фокусируются на развитии методологии, позволяющей локализовать нелинейные связи в высокомерном пространстве и улучшить точность при обучении нелинейных операторов. ## Метод Для решения этих задач мы предлагаем стохастический приближенный фреймворк на основе репродуцирующих нормальных пространств (RKHS). Методология основывается на использовании общих операторных ядер (general Mercer kernels), которые могут быть дискретными (как в случае с полиномами) или диагональными (с весами, зависящими от пространства). Мы расширяем классический класс $K = kI$, включая вектор-репродуцирующие RKHS, что позволяет увеличить модельную гибкость. Для учета ошибки мишпецификации мы используем вектор-интерполяционные пространства. Это позволяет предсказывать результаты с более высокой точностью, даже если целевые операторы лежат за пределами построенного подпространства. ## Результаты Мы провели эксперименты на двумерной задаче Navier-Stokes, которая является ключевой моделью в динамических системах. Наши модели позволяли достичь полиномиального уменьшения ошибки при обучении нелинейных операторов. Мы также проверили различные операторы, включая диагональные и генеральные операторы. Эксперименты показали, что наш фреймворк превосходит классические подходы в скорости и точности обучения в нерегулярных случаях. Эти результаты подтверждают теоретические основы фреймворка и его применимость к реальным задачам. ## Значимость Наш фреймворк может применяться в различных областях, включая теорию управления, динамические системы, математическую физику и анализ данных. Он позволяет решать задачи, в которых целевые операторы не подпадают под классические модели, такие как Fredholm и другие виды нелинейных операторов. Основное преимущество — возможность избежать "порчи мер" и достичь полиномиальной скорости сходимости с высокой точностью, даже при высокой размерности пространства. Это открывает новые возможности для моделирования и решения нерешенных вопросов в теории операторов. ## Выводы Мы разработали современный фреймворк для обучения нелинейных операторов, использующий операторные ядра. Этот подход позволяет решать широкий класс за

Abstract

We develop a stochastic approximation framework for learning nonlinear operators between infinite-dimensional spaces utilizing general Mercer operator-valued kernels. Our framework encompasses two key classes: (i) compact kernels, which admit discrete spectral decompositions, and (ii) diagonal kernels of the form $K(x,x')=k(x,x')T$, where $k$ is a scalar-valued kernel and $T$ is a positive operator on the output space. This broad setting induces expressive vector-valued reproducing kernel Hilbert spaces (RKHSs) that generalize the classical $K=kI$ paradigm, thereby enabling rich structural modeling with rigorous theoretical guarantees. To address target operators lying outside the RKHS, we introduce vector-valued interpolation spaces to precisely quantify misspecification error. Within this framework, we establish dimension-free polynomial convergence rates, demonstrating that nonlinear operator learning can overcome the curse of dimensionality. The use of general operator-valued kernels further allows us to derive rates for intrinsically nonlinear operator learning, going beyond the linear-type behavior inherent in diagonal constructions of $K=kI$. Importantly, this framework accommodates a wide range of operator learning tasks, ranging from integral operators such as Fredholm operators to architectures based on encoder-decoder representations. Moreover, we validate its effectiveness through numerical experiments on the two-dimensional Navier-Stokes equations.

Ссылки и действия

Связанные статьи

A Kernel-based Stochastic Approximation Framework for Nonlinear Operator Learnin...

## Контекст Исследование основано на развитии статистических и математических методов для обучения нелинейных операторов...

2025-09-18