Conditionally Whitened Generative Models for Probabilistic Time Series Forecasting

2509.20928v1 stat.ML, cs.LG 2025-09-27
Авторы:

Yanfeng Yang, Siwei Chen, Pingping Hu, Zhaotong Shen, Yingjie Zhang, Zhuoran Sun, Shuai Li, Ziqi Chen, Kenji Fukumizu

Резюме на русском

## Контекст Многомерное прогнозирование временных рядов представляет собой сложную задачу из-за нестационарности данных, зависимостей между переменными и динамически изменяющихся распределений. Несмотря на то, что недавние модели на основе технологий диффузии и матчинга потоков показали свою эффективность, они часто не учитывают информативных предварительных знаний, таких как условные средние и ковариации. Эти факторы ограничивают точность прогнозирования и повышение устойчивости моделей. Мотивируя нашу работу, мы призваны развить более устойчивые и точные методы, которые могут обрабатывать данные временных рядов с учетом условных предварительных информаций. ## Метод Мы предлагаем Conditionally Whitened Generative Models (CW-Gen), новую архитектуру, которая интегрирует информативные предварительные сведения с помощью условной дезинвариации (conditional whitening). Теоретически, мы установили условия, при которых замена традиционного терминального распределения в моделях диффузии на многомерное нормальное распределение, определяемое условным средним и ковариацией, улучшает качество прогнозов. На основе этой теории мы разработали новый Joint Mean-Covariance Estimator (JMCE), который работает с условным средним и скользящими окнами для ковариации. Мы также предложили Conditionally Whitened Diffusion Models (CW-Diff) и расширили их для Conditionally Whitened Flow Matching (CW-Flow). Эти модели работают с условием, чтобы учитывать статистические зависимости и корреляции между переменными. ## Результаты Мы провели эксперименты на пяти реальных датасетах, сравнив нашу модель с шестью состоящими стейт-оф-арт моделями в области прогнозирования временных рядов. Результаты показали, что CW-Gen повышает точность прогнозирования, более эффективно учитывая динамические изменения и зависимости между переменными, чем существующие модели. Мы также проверили, насколько модель устойчива к сдвигам распределения, и установили, что она позволяет снизить эффект дискрепанции прогнозов. Эти эксперименты указывают на то, что условная дезинвариация значительно повышает качество прогноза по сравнению с принципиально безусловными моделями. ## Значимость Наша модель может применяться в многочисленных сферах, таких как финансовый анализ, техническая аналитика, информационные системы и прогнозирование погоды. Она предоставляет значительные преимущества, такие как улучшенная точность прогнозов, устойчивость к динамическим изменениям и обработка зависимостей между переменными. Эти достижения могут повысить уровень достоверности во многих высокотехнологичных приложениях, что демонстрирует значительный потенциал CW-Gen в области прогнозирования временных рядов. ## Выводы Прове

Abstract

Probabilistic forecasting of multivariate time series is challenging due to non-stationarity, inter-variable dependencies, and distribution shifts. While recent diffusion and flow matching models have shown promise, they often ignore informative priors such as conditional means and covariances. In this work, we propose Conditionally Whitened Generative Models (CW-Gen), a framework that incorporates prior information through conditional whitening. Theoretically, we establish sufficient conditions under which replacing the traditional terminal distribution of diffusion models, namely the standard multivariate normal, with a multivariate normal distribution parameterized by estimators of the conditional mean and covariance improves sample quality. Guided by this analysis, we design a novel Joint Mean-Covariance Estimator (JMCE) that simultaneously learns the conditional mean and sliding-window covariance. Building on JMCE, we introduce Conditionally Whitened Diffusion Models (CW-Diff) and extend them to Conditionally Whitened Flow Matching (CW-Flow). Experiments on five real-world datasets with six state-of-the-art generative models demonstrate that CW-Gen consistently enhances predictive performance, capturing non-stationary dynamics and inter-variable correlations more effectively than prior-free approaches. Empirical results further demonstrate that CW-Gen can effectively mitigate the effects of distribution shift.

Ссылки и действия