Control Disturbance Rejection in Neural ODEs
2509.18034v1
cs.LG, math.OC
2025-09-24
Авторы:
Erkan Bayram, Mohamed-Ali Belabbas, Tamer Başar
Резюме на русском
## Контекст
Основной концепцией данной работы является развитие методологии, позволяющей улучшить способность моделей Neural ODEs (отличающихся особенностью моделирования нелинейных систем динамических связей) к резистентности внешним дистурбансам в управлении. Несмотря на высокую степень адаптивности таких моделей в построении динамических систем, они чувствительны к дискретным или непродолжительным изменениям в управляющих параметрах, что снижает их надежность в реальных условиях. Эта проблема становится ключевой в приложениях, где стабильность и точность операций критически важны, например, в авиационной технике, в системах управления внешними системами. Работа фокусируется на избавлении от этой чувствительности, одновременно сохраняя высокую точность моделирования.
## Метод
Предлагаемая методология основывается на итеративном алгоритме обучения, строящемся на идее "Tuning without Forgetting". Основную инновацию является внедрение метода "минимакса" для решения задачи нелинейной оптимизации в пространстве параметров, что позволяет максимизировать устойчивость к дистурбансам. Здесь используется оптимизационный подход на основе проектированного градиентного спуска в выпуклом подпространстве, которое было расширено до бесконечномерного контрольного пространства. Это достигается путем решения задачи минимизации функционала с последовательным обновлением тренировочных точек. Такой подход позволяет модели Neural ODEs не только учиться новым данным, но и проявлять устойчивость к внешним дистурбансам.
## Результаты
В процессе экспериментов использовались синтетические данные, а также реальности, описывающие динамические системы с внешними дистурбансами. Результаты показали, что модели Neural ODEs, обученные с использованием предложенного метода, обладают значительно более высокой точностью в моделировании динамических систем. Дополнительные эксперименты показали, что модели, оптимизированные на основе этого подхода, показали сильное улучшение в способности реагировать на внешние колебания в управляющих параметрах. Эти результаты подтверждают то, что модели становятся более стабильными и надежными в условиях повышенного динамического воздействия.
## Значимость
Предложенный подход имеет широкие применения в различных областях, где управляющие сигналы чувствительны к дисторбансам. Например, в системах прогнозирования и управления внешними процессами, к примеру, в сетях энергетики, модели Neural ODEs становятся более устойчивыми к колебаниям. Это улучшает качество прогнозов и влияние на системы. Кроме того, модели, построенные с использованием этой мето
Abstract
In this paper, we propose an iterative training algorithm for Neural ODEs
that provides models resilient to control (parameter) disturbances. The method
builds on our earlier work Tuning without Forgetting-and similarly introduces
training points sequentially, and updates the parameters on new data within the
space of parameters that do not decrease performance on the previously learned
training points-with the key difference that, inspired by the concept of flat
minima, we solve a minimax problem for a non-convex non-concave functional over
an infinite-dimensional control space. We develop a projected gradient descent
algorithm on the space of parameters that admits the structure of an
infinite-dimensional Banach subspace. We show through simulations that this
formulation enables the model to effectively learn new data points and gain
robustness against control disturbance.
Ссылки и действия
Дополнительные ресурсы: