A Realistic Evaluation of Cross-Frequency Transfer Learning and Foundation Forecasting Models

2509.19465v1 cs.LG, cs.AI, stat.AP 2025-09-26
Авторы:

Kin G. Olivares, Malcolm Wolff, Tatiana Konstantinova, Shankar Ramasubramanian, Andrew Gordon Wilson, Andres Potapczynski, Willa Potosnak, Mengfei Cao, Boris Oreshkin, Dmitry Efimov

Резюме на русском

## Контекст Cross-frequency transfer learning (CFTL) является популярной стратегией для создания больших наборов данных с целью предварительно обучения фундаментальных моделей прогнозирования временных рядов. Несмотря на заявленные преимущества, существующие методы оценки не полностью учтут потенциал CFTL, что может привести к искаженным результатам. Основные проблемы заключаются в недостаточной тестовой выборке, неверном расчете статистических метрик, недостаточной качественной модели и неучтенном риске пересечения данных между тестовой и предварительной выборкой. Данная статья предлагает решение этих проблем через реинтерпретацию широко используемых нейронных моделей прогнозирования, адаптированных для CFTL, использование только собственных и синтетических данных для предварительного обучения, а также проведение экспериментов на 15 крупных, разнообразных наборах данных прогнозирования. ## Метод Методология исследования включает в себя несколько ключевых этапов. Во-первых, была реализована реинтерпретация нейронных моделей прогнозирования, адаптированных для CFTL, чтобы обеспечить эффективную передачу средне- и низкочастотных сигналов. Во-вторых, для предварительного обучения использовались только проприетарные и синтетические данные, чтобы избежать пересечения данных и повысить общую адекватность модели. В-третьих, проводились эксперименты на 15 внешних наборах данных с целью подтверждения результатов. Наконец, для оценки моделей были использованы критерии смещения и разброса, чтобы измерить точность и надежность прогнозов. ## Результаты По результатам экспериментов, статистические модели и их парные конфигурации показали значительное превосходство над существующими моделями CFTL. В частности, они показали снижение среднего среднеквадратичного отклонения (sCRPS) на 8,2% и улучшение меры нормализованного среднеквадратичного отношения ошибки (MASE) на 20%. Эти результаты подтверждают вышеперечисленные преимущества CFTL. Однако синтетическое обучение также показало свою эффективность, повысив точность моделей FFM на 7%. ## Значимость Результаты этого исследования могут быть применены в различных областях, где требуется точное прогнозирование временных рядов, например, в финансах, энергетике, инфраструктуре. Основные преимущества заключаются в значительном повышении точности прогноза, уменьшении риска пересечения данных и увеличении надежности моделей. Эти достижения могут иметь большое значение для улучшения моделей прогнозирования в конкретных секторах. ## Выводы Основные достижения статьи заключаются в том, что статистические модели и их парные

Abstract

Cross-frequency transfer learning (CFTL) has emerged as a popular framework for curating large-scale time series datasets to pre-train foundation forecasting models (FFMs). Although CFTL has shown promise, current benchmarking practices fall short of accurately assessing its performance. This shortcoming stems from many factors: an over-reliance on small-scale evaluation datasets; inadequate treatment of sample size when computing summary statistics; reporting of suboptimal statistical models; and failing to account for non-negligible risks of overlap between pre-training and test datasets. To address these limitations, we introduce a unified reimplementation of widely-adopted neural forecasting networks, adapting them for the CFTL setup; we pre-train only on proprietary and synthetic data, being careful to prevent test leakage; and we evaluate on 15 large, diverse public forecast competition datasets. Our empirical analysis reveals that statistical models' accuracy is frequently underreported. Notably, we confirm that statistical models and their ensembles consistently outperform existing FFMs by more than 8.2% in sCRPS, and by more than 20% MASE, across datasets. However, we also find that synthetic dataset pre-training does improve the accuracy of a FFM by 7% percent.

Ссылки и действия

Связанные статьи

Bridging Performance Gaps for Foundation Models: A Post-Training Strategy for EC...

#### Контекст Фундаментальные модели (foundation models) получили большое применение в медицине, включая обработку элек...

2025-09-18