A Realistic Evaluation of Cross-Frequency Transfer Learning and Foundation Forecasting Models
2509.19465v1
cs.LG, cs.AI, stat.AP
2025-09-26
Авторы:
Kin G. Olivares, Malcolm Wolff, Tatiana Konstantinova, Shankar Ramasubramanian, Andrew Gordon Wilson, Andres Potapczynski, Willa Potosnak, Mengfei Cao, Boris Oreshkin, Dmitry Efimov
Резюме на русском
## Контекст
Cross-frequency transfer learning (CFTL) является популярной стратегией для создания больших наборов данных с целью предварительно обучения фундаментальных моделей прогнозирования временных рядов. Несмотря на заявленные преимущества, существующие методы оценки не полностью учтут потенциал CFTL, что может привести к искаженным результатам. Основные проблемы заключаются в недостаточной тестовой выборке, неверном расчете статистических метрик, недостаточной качественной модели и неучтенном риске пересечения данных между тестовой и предварительной выборкой. Данная статья предлагает решение этих проблем через реинтерпретацию широко используемых нейронных моделей прогнозирования, адаптированных для CFTL, использование только собственных и синтетических данных для предварительного обучения, а также проведение экспериментов на 15 крупных, разнообразных наборах данных прогнозирования.
## Метод
Методология исследования включает в себя несколько ключевых этапов. Во-первых, была реализована реинтерпретация нейронных моделей прогнозирования, адаптированных для CFTL, чтобы обеспечить эффективную передачу средне- и низкочастотных сигналов. Во-вторых, для предварительного обучения использовались только проприетарные и синтетические данные, чтобы избежать пересечения данных и повысить общую адекватность модели. В-третьих, проводились эксперименты на 15 внешних наборах данных с целью подтверждения результатов. Наконец, для оценки моделей были использованы критерии смещения и разброса, чтобы измерить точность и надежность прогнозов.
## Результаты
По результатам экспериментов, статистические модели и их парные конфигурации показали значительное превосходство над существующими моделями CFTL. В частности, они показали снижение среднего среднеквадратичного отклонения (sCRPS) на 8,2% и улучшение меры нормализованного среднеквадратичного отношения ошибки (MASE) на 20%. Эти результаты подтверждают вышеперечисленные преимущества CFTL. Однако синтетическое обучение также показало свою эффективность, повысив точность моделей FFM на 7%.
## Значимость
Результаты этого исследования могут быть применены в различных областях, где требуется точное прогнозирование временных рядов, например, в финансах, энергетике, инфраструктуре. Основные преимущества заключаются в значительном повышении точности прогноза, уменьшении риска пересечения данных и увеличении надежности моделей. Эти достижения могут иметь большое значение для улучшения моделей прогнозирования в конкретных секторах.
## Выводы
Основные достижения статьи заключаются в том, что статистические модели и их парные
Abstract
Cross-frequency transfer learning (CFTL) has emerged as a popular framework
for curating large-scale time series datasets to pre-train foundation
forecasting models (FFMs). Although CFTL has shown promise, current
benchmarking practices fall short of accurately assessing its performance. This
shortcoming stems from many factors: an over-reliance on small-scale evaluation
datasets; inadequate treatment of sample size when computing summary
statistics; reporting of suboptimal statistical models; and failing to account
for non-negligible risks of overlap between pre-training and test datasets. To
address these limitations, we introduce a unified reimplementation of
widely-adopted neural forecasting networks, adapting them for the CFTL setup;
we pre-train only on proprietary and synthetic data, being careful to prevent
test leakage; and we evaluate on 15 large, diverse public forecast competition
datasets. Our empirical analysis reveals that statistical models' accuracy is
frequently underreported. Notably, we confirm that statistical models and their
ensembles consistently outperform existing FFMs by more than 8.2% in sCRPS, and
by more than 20% MASE, across datasets. However, we also find that synthetic
dataset pre-training does improve the accuracy of a FFM by 7% percent.
Ссылки и действия
Дополнительные ресурсы: