FlowState: Sampling Rate Invariant Time Series Forecasting

## КОНТЕКСТ И ПРОБЛЕМАТИКА Time series forecasting является ключевой областью в машинном обучении, применяемой в различных сферах, таких как экономика, промышленность, здравоохранение и многие другие. Однако, несмотря на успех фаундэйшн моделей (FMs) в области естественного языка, их применение к задачам прогнозирования временных рядов остается проблематичным. Традиционные модели, основанные на вариантах трансформеров, сталкиваются с несколькими критичными ограничениями, включая сложности при адаптации к различным темпоральным разрешениям (sampling rates), неэффективность вычислений и ограниченную способность к обобщению на различных промежутках времени. Существующие time series foundation models (TSFMs) требуют больших вычислительных ресурсов для обучения на разных темпоральных разрешениях, что снижает их практическую применимость. Более того, их невозможность эффективно адаптироваться к входным данным разной частоты делает их менее гибкими на практике. Также, многие существующие модели требуют предварительного обучения на данных с различными частотами выборки, что усложняет процесс разработки и применения. В связи с этим, необходимо разработать модель, которая могла бы эффективно работать с временными рядами разной частоты выборки, не требуя для этого значительных компьютерных ресурсов, и обеспечивала бы высокую точность прогнозов. ## ПРЕДЛОЖЕННЫЙ МЕТОД В статье предлагается новая архитектура **FlowState**, которая решает проблемы существующих моделей за счет двух ключевых инноваций: **state space model (SSM) based encoder** и **functional basis decoder**. SSM-based encoder позволяет модели работать в непрерывном временном пространстве, что обеспечивает возможность динамической адаптации к различным темпоральным разрешениям. Функциональный декодер, в свою очередь, позволяет модели формировать прогнозы на основе базисных функций, что дает ей возможность гибко регулировать прогнозируемые горизонты. FlowState отличается от других TSFMs тем, что не требует данных с разными частотами выборки для обучения, а вместо этого адаптирует свои внутренние динамические процессы к заданному темпоральному разрешению. Это уменьшает необходимость в больших объемах данных и повышает эффективность модели. Кроме того, авторы предлагают **эффективную стратегию предварительного обучения**, которая улучшает устойчивость модели и ускоряет процесс обучения. Несмотря на то, что FlowState является одной из самых маленьких моделей по количеству параметров, она достигает высокой точности прогнозов и превзойдет все другие модели на задачах GIFT-ZS и Chronos-ZS. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ В рамках исследования были проведены ряд экспериментов на двух задачах: GIFT-ZS и Chronos-ZS. Эти данные представляют собой временные ряды с различными частотами выборки. Модель FlowState была протестирована на различных конфигурациях, включая различные частоты выборки и прогнозируемые горизонты. Результаты показали, что FlowState не только превзошла все другие модели в терминах точности прогнозов, но и показала высокую эффективность в терминах вычислительных затрат. Благодаря своей способности адаптироваться к разным частотам выборки, FlowState показала стабильно хорошие результаты даже при изменении входных данных в режиме реального времени. Были также проведены **абляционные исследования**, которые подтвердили эффективность каждого компонента модели, включая SSM-based encoder и functional basis decoder. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ FlowState имеет широкое применение в различных областях, где необходимо прогнозирование временных рядов с разными частотами выборки. Например, в области финансов, модель может быть использована для прогнозирования цен на фондовом рынке с различными интервалами времени. В промышленности, она может помочь в мониторинге и прогнозировании работы оборудования. Одним из ключевых преимуществ FlowState является её эффективность и малая размерность модели, что делает её пригодной для развертывания на устройствах с ограниченными вычислительными ресурсами. Кроме того, модель подходит для онлайн-адаптации, что делает её подходящей для приложений, требующих динамического изменения частоты выборки. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ FlowState представляет собой значительный шаг вперед в области time series forecasting. Благодаря своей способности адаптироваться к разным частотам выборки и эффективному предварительному обучению, она предлагает новый подход к решению задач прогнозирования. В будущем, модель может быть дальше улучшена путем исследования более сложных декодеров или интеграции дополнительных функций для обработки многомерных временных рядов. Также, можно рассмотреть возможность применения FlowState в реальном времени для задач, требующих быстрого реагирования на изменения в данных.