A Hierarchical Surrogate Model for Efficient Multi-Task Parameter Learning in Closed-Loop Control
2508.12738v2
eess.SY, cs.LG, cs.SY
2025-08-20
Авторы:
Sebastian Hirt, Lukas Theiner, Maik Pfefferkorn, Rolf Findeisen
Резюме на русском
## Контекст
В области контроля и управления существует множество задач, требующих постоянного адаптирования и оптимизации контроллеров для разных задач управления в замкнутом цикле. Эти задачи характеризуются высокими требованиями к эффективности использования данных и гибкости. Однако, существующие подходы часто имеют ограниченную модельность и недостаточную учету структуры задачи. В таких условиях авторы предлагают развить методы, которые бы способствовали эффективному решению этих проблем.
## Метод
Предлагаемый подход является новым фреймворком байесовской оптимизации, ориентированным на эффективное управление параметрами контроллеров в ситуациях последовательного принятия решений и контроля в замкнутых циклах. Авторы предлагают использовать гауссовские процессы для построения сложной структуры суррогатной модели. Эта модель учитывает динамику системы, контрольный закон и замкнутую цепь за счет известных выражений. Это позволяет использовать знания о задаче, чтобы улучшить обучение параметров контроллеров. Такой подход позволяет использовать знания о задаче, чтобы улучшить обучение параметров контроллеров.
## Результаты
Авторы проводят эксперименты с помощью моделируемого многозадачного управления, используя модели Моделируемого Модельного Управления (Model Predictive Control, MPC). Они показывают, что их подход значительно улучшает эффективность использования данных и гибкость управления в сравнении с классическими методами без знания задачи. Эти результаты подтверждают улучшенную эффективность многозадачного обучения и гибкость метода.
## Значимость
Предлагаемый подход может применяться в различных сферах, где необходимо эффективное управление сложными системами, таких как промышленное управление, робототехника и авиационные системы. Он предоставляет значительные преимущества, такие как эффективность использования данных, гибкость и способность передачи знаний между задачами. Это может привести к значительным улучшениям в производительности и экономичности в различных приложениях.
## Выводы
Авторы доказывают, что их подход эффективно упрощает процесс обучения параметров контроллеров в замкнутых циклах. Они также утверждают, что их работа открывает пути для будущих исследований в области байесовских методов и многозадачного управления, которые могут привести к более гибким и эффективным системам управления.
Abstract
Many control problems require repeated tuning and adaptation of controllers
across distinct closed-loop tasks, where data efficiency and adaptability are
critical. We propose a hierarchical Bayesian optimization (BO) framework that
is tailored to efficient controller parameter learning in sequential
decision-making and control scenarios for distinct tasks. Instead of treating
the closed-loop cost as a black-box, our method exploits structural knowledge
of the underlying problem, consisting of a dynamical system, a control law, and
an associated closed-loop cost function. We construct a hierarchical surrogate
model using Gaussian processes that capture the closed-loop state evolution
under different parameterizations, while the task-specific weighting and
accumulation into the closed-loop cost are computed exactly via known
closed-form expressions. This allows knowledge transfer and enhanced data
efficiency between different closed-loop tasks. The proposed framework retains
sublinear regret guarantees on par with standard black-box BO, while enabling
multi-task or transfer learning. Simulation experiments with model predictive
control demonstrate substantial benefits in both sample efficiency and
adaptability when compared to purely black-box BO approaches.
Ссылки и действия
Дополнительные ресурсы: