Probabilistic operator learning: generative modeling and uncertainty quantification for foundation models of differential equations
2509.05186v2
stat.ML, cs.LG, cs.NA, math.NA
2025-09-09
Авторы:
Benjamin J. Zhang, Siting Liu, Stanley J. Osher, Markos A. Katsoulakis
Резюме на русском
#### Контекст
Обучение операторной модели (Operator Learning) является важной задачей в математических моделях, которая направлена на вывод решений уравнений относительно неизвестных функций и параметров. Операторы, такие как решающие уравнения ОДУ и ОПДУ, играют ключевую роль в физике, химии, инженерии и других областях. Однако существуют сложности в точном вычислении решений из-за сложности уравнений и разнообразия исходных данных. На данный момент существуют методы, которые основываются на нейронных сетях и позволяют решать такие задачи, но они либо имеют низкую точность, либо не учитывают неопределенность в решениях. Данная работа вводит подход, который объединяет подходы генерирующей модели и закрепляет неопределенность в процессе обучения.
#### Метод
Данная работа представляет собой новую методологию, основанную на подходе In-context Operator Networks (ICON). ICON является классом операторных методов, основывающихся на архитектуре фундаментальных моделей. Эта модель обучается на разнообразных наборах данных, содержащих условия начала и границы, а также соответствующие решения уравнений (ОДУ и ОПДУ). Базовая идея заключается в том, что ICON учится отображать условия и решения на приближение решающего оператора. В данной работе представлен проблематический фреймворк, подчеркивающий, что ICON производит типичное байесовское выводное вычисление, получая предсказание на основе примеров условий и решений. Такой фреймворк позволяет расширить ICON в область генерирующих моделей, которые могут создавать примеры решений с рассмотрением неопределенности.
#### Результаты
Проведенные эксперименты показали, что ICON может эффективно решать задачи решения ОДУ и ОПДУ, а также обеспечивать предсказания с рассмотрением неопределенности. Использовались разные данные, включая генерируемые задачи ОДУ и ОПДУ, что позволило проверить работу модели в задачах с разными уровнями сложности. Основной результат - значительное повышение точности решений в сравнении с другими методами обучения операторов, а также возможность учитывать неопределенность в процессе предсказания решений.
#### Значимость
Представленная работа имеет значительное значение в области операторного обучения и приложений в сложных системах. Она может применяться в областях, где необходимо решать нелинейные уравнения (например, в физике, химии, инженерии). Одним из ключевых преимуществ является возможность качественного описания неопределенности в решениях, что значительно улучшает надежность приложений, основанных на таких моделях. Более того, полученная работа открывает возможность расширения ICON для генерирую
Abstract
In-context operator networks (ICON) are a class of operator learning methods
based on the novel architectures of foundation models. Trained on a diverse set
of datasets of initial and boundary conditions paired with corresponding
solutions to ordinary and partial differential equations (ODEs and PDEs), ICON
learns to map example condition-solution pairs of a given differential equation
to an approximation of its solution operator. Here, we present a probabilistic
framework that reveals ICON as implicitly performing Bayesian inference, where
it computes the mean of the posterior predictive distribution over solution
operators conditioned on the provided context, i.e., example condition-solution
pairs. The formalism of random differential equations provides the
probabilistic framework for describing the tasks ICON accomplishes while also
providing a basis for understanding other multi-operator learning methods. This
probabilistic perspective provides a basis for extending ICON to
\emph{generative} settings, where one can sample from the posterior predictive
distribution of solution operators. The generative formulation of ICON
(GenICON) captures the underlying uncertainty in the solution operator, which
enables principled uncertainty quantification in the solution predictions in
operator learning.