Bayesian Inference and Learning in Nonlinear Dynamical Systems: A Framework for Incorporating Explicit and Implicit Prior Knowledge
2508.15345v1
stat.ML, cs.LG
2025-08-23
Авторы:
Björn Volkmann, Jan-Hendrik Ewering, Michael Meindl, Simon F. G. Ehlers, Thomas Seel
Резюме на русском
#### Контекст
Обучение моделей динамических систем является ключевым заданием в области контроля и прогнозирования динамических процессов. Однако обучение этих моделей с ограниченными данными часто требует использования дополнительных знаний о системе, таких как знание части модели или предположения о свойствах модели, которые невозможно напрямую измерить. Таким образом, поиск эффективных методов для интеграции такого знания с данными является важной проблемой. Исследования показывают, что люди с историей работы в сфере контроля и прогнозирования знают, что недостаточно только данных недостаточно для точного и универсального обучения моделей. Это приводит к затруднениям в применении технологий обучения моделей в реальных ситуациях. Этот аспект мотивирует развитие методов, которые могут эффективно интегрировать различные источники знаний и данных.
#### Метод
Фреймворк, представленный в этой работе, основывается на применении практических методов байесовской статистики для оценки параметров и неизвестных функций модели. Он использует комбинацию явных предположений о системе (например, системных уравнений) и неявных предположений (например, плавность неизвестных модельных частей) для построения модели, которая учитывает все источники знаний. Архитектура фреймворка включает в себя модель, которая сочетает в себе знания о динамике системы с аппроксимацией неизвестных модельных компонент. Был разработан универсальный интерфейс, который позволяет выполнять онлайн и оффлайн байесовскую инференцию и обучение с использованием разных типов предварительных знаний. Это позволяет избежать ручных, сложных и ошибочных процессов, которые требуются для обработки таких знаний в традиционных методах. Также указаны эффективные методы для вычисления плотности параметров, чтобы облегчить оценку модели.
#### Результаты
Основные результаты экспериментов показали, что фреймворк позволяет эффективно обучать модели динамических систем, используя различные источники знаний. Он продемонстрировал точность и универсальность при обучении моделей с ограниченными данными. Использовались разные данные, включая имитационные и экспериментальные, для проверки работы фреймворка. Результаты показали, что фреймворк предлагает значительные выгоды в ситуациях, когда используется значительный объем предварительных знаний, и демонстрирует более точные результаты по сравнению с традиционными подходами, ограниченными только данными.
#### Значимость
Метод предлагает большую гибкость и может быть применен в различных областях, таких как автоматический контроль, прогнозирование динамических с
Abstract
Accuracy and generalization capabilities are key objectives when learning
dynamical system models. To obtain such models from limited data, current works
exploit prior knowledge and assumptions about the system. However, the fusion
of diverse prior knowledge, e. g. partially known system equations and
smoothness assumptions about unknown model parts, with information contained in
the data remains a challenging problem, especially in input-output settings
with latent system state. In particular, learning functions that are nested
inside known system equations can be a laborious and error-prone expert task.
This paper considers inference of latent states and learning of unknown model
parts for fusion of data information with different sources of prior knowledge.
The main contribution is a general-purpose system identification tool that, for
the first time, provides a consistent solution for both, online and offline
Bayesian inference and learning while allowing to incorporate explicit and
implicit prior system knowledge. We propose a novel interface for combining
known dynamics functions with a learning-based approximation of unknown system
parts. Based on the proposed model structure, closed-form densities for
efficient parameter marginalization are derived. No user-tailored coordinate
transformations or model inversions are needed, making the presented framework
a general-purpose tool for inference and learning. The broad applicability of
the devised framework is illustrated in three distinct case studies, including
an experimental data set.
Ссылки и действия
Дополнительные ресурсы: