Sailing Towards Zero-Shot State Estimation using Foundation Models Combined with a UKF
2509.04213v1
eess.SY, cs.LG, cs.SY
2025-09-06
Авторы:
Tobin Holtmann, David Stenger, Andres Posada-Moreno, Friedrich Solowjow, Sebastian Trimpe
Резюме на русском
#### Контекст
State estimation является ключевым заданием в областях управления и системного инжиниринга. Традиционно, этот процесс требует значительных усилий в области системной идентификации или сбора больших объемов данных. Новые подходы, основанные на transformer-based foundation models, уменьшают эти требования, используя предварительно обученные общие модели, которые могут работать даже в неизвестных условиях. Однако существующие модели часто ограничены возможностью работы только с моделями датчиков, которые были видны во время обучения. Эта ситуация приводит к необходимости в разработке новых подходов, которые бы способствовали общей гибкости в работе с различными динамическими системами.
#### Метод
Мы предлагаем сочетание transformer-based model system dynamics с аналитически известной моделью датчика в рамках unscented Kalman filter (UKF). Данная комбинация позволяет генерировать представления данных, которые могут быть интегрированы с неизвестными динамическими системами. Этот подход, называемый foundation model unscented Kalman filter (FM-UKF), работает без необходимости повторного обучения при изменении динамики системы или сенсорной конфигурации. Мы оптимизировали FM-UKF для работы с динамическими системами, характерными для контейнеровых судов, используя новую бенчмарк-среду, аналогичную реальной среде сложного динамического поведения.
#### Результаты
Мы провести эксперименты на новой бенчмарк-среде, содержащей модели контейнеровых судов с детальными динамическими характеристиками. FM-UKF показал высокую точность и устойчивость в сравнении с классическими методами, использующими аппроксимативные модели динамики, а также с единородными end-to-end transformer-based подходами. Мы также сравнили FM-UKF с другими моделями, продемонстрировав лучшую точность при сравнительно меньшем требовании к данным и усилиям в условиях изменения динамики.
#### Значимость
Результаты FM-UKF открывают новый путь к реализации zero-shot state estimation в системах, требующих значительных усилий в идентификации и моделировании. Этот подход может быть применен в различных областях, включая авиацию, робототехнику и инфраструктурное мониторинг, позволяя сократить усилия при моделировании и обучении моделей. Открытие исходных кодов и данных бенчмарка позволяет другим исследователям продолжить развитие этого подхода и расширить его возможности.
#### Выводы
FM-UKF доказал свою эффективность в решении задачи zero-shot state estimation, объединяя преимущества transformer-based моделей и аналитической модели UKF. Он значительно сокращает требования к данным и усилиям при моделировании систем с новыми динамическими характеристиками. Мы планируем продолжить развитие этого подхода, расширив его применение к дру
Abstract
State estimation in control and systems engineering traditionally requires
extensive manual system identification or data-collection effort. However,
transformer-based foundation models in other domains have reduced data
requirements by leveraging pre-trained generalist models. Ultimately,
developing zero-shot foundation models of system dynamics could drastically
reduce manual deployment effort. While recent work shows that transformer-based
end-to-end approaches can achieve zero-shot performance on unseen systems, they
are limited to sensor models seen during training. We introduce the foundation
model unscented Kalman filter (FM-UKF), which combines a transformer-based
model of system dynamics with analytically known sensor models via an UKF,
enabling generalization across varying dynamics without retraining for new
sensor configurations. We evaluate FM-UKF on a new benchmark of container ship
models with complex dynamics, demonstrating a competitive accuracy, effort, and
robustness trade-off compared to classical methods with approximate system
knowledge and to an end-to-end approach. The benchmark and dataset are open
sourced to further support future research in zero-shot state estimation via
foundation models.
Ссылки и действия
Дополнительные ресурсы: