Flow Matching-Based Generative Modeling for Efficient and Scalable Data Assimilation

################################# ## Контекст ################################# Данные ассимиляции (Data Assimilation, DA) — это проблема последовательного оценивания состояния динамической системы с использованием шумных наблюдений. Недавние достижения в области генерируемых моделей способствовали развитию новых подходов к решению DA в высокомерных нелинейных системах, в том числе на основе ensemble score filter (EnSF). Однако эти новые подходы связаны с высокой вычислительной нагрузкой из-за медленной создания выборок. В данной статье предлагается новый подход к фильтрации на основе flow matching (FM), который называется ensemble flow filter (EnFF). Этот метод ускоряет создание выборок и позволяет гибко проектировать векторные поля (VF). Он является тренировочной-бесплатной DA-методологией, интегрирующей оценочные методы Монте-Карло (MC) для маргинального векторного поля (VF) и локализованной наблюдательной навигации. EnFF обеспечивает более быструю фильтрацию и гибкость в проектировании VF по сравнению с другими подходами генерируемых моделей в DA. ################################# ## Метод ################################# Методом EnFF является фильтрация на основе flow matching (FM), который включает в себя оценочные методы Monte Carlo (MC) для маргинального векторного поля (VF) и локализованной навигации. Основной идеей является использование максимальной правдоподобности (maximum likelihood) для построения маргинального VF, используя данные Монте-Карло. Это позволяет сформировать векторное поле (VF) из нескольких подвыборок, чтобы улучшить возможности оценки генерируемых моделей. Архитектура EnFF также включает в себя локализованные шаги, которые улучшают возможности масштабирования, позволяя использовать большие модели с высоким разрешением. Метод EnFF является простым в реализации и не требует тренировки, что делает его эффективным для DA в высокомерных системах. ################################# ## Результаты ################################# В экспериментах, проведенных на высокомерных бенчмарках данных, EnFF продемонстрировал значительное улучшение в соотношении скорости/точности в сравнении с собственными подходами, такими как ensemble score filter (EnSF) и ensemble Kalman filter (EnKF). Использование больших моделей с высоким разрешением позволило EnFF использовать большие выборки во время фильтрации. Это также позволило улучшить точность фильтрации в высокомерных динамических системах. Эксперименты показывают, что EnFF может быть эффективно использован в высокомерных DA благодаря быстрому созданию выборок и гибкому проектированию VF. ################################# ## Значимость ################################# EnFF может быть применен в различных областях, например в моделировании климата, в экономике, в моделировании динамических систем. Он позволяет эффективно использовать большие выборки в DA, что улучшает точность и устойчивость моделей в высокомерных сист