Integrating Time Series into LLMs via Multi-layer Steerable Embedding Fusion for Enhanced Forecasting

## Контекст Временные ряды (TS) широко используются во многих областях приложений, что делает прогнозирование временных рядов (TSF) ключевой задачей. Недавние прорывы в области больших языковых моделей (LLMs) открыли новые возможности для их применения в прогнозировании временных рядов. Однако существующие подходы существенно ограничены глубиной интеграции временных рядов в модели. Большинство методов обрабатывают временные ряды только на входном уровне, что приводит к быстрому затуханию влияния этих данных в глубине модели. Это влечет за собой неэффективную адаптацию взаимодействия между текстовыми и временными сериями, что снижает качество прогнозирования. Данная работа адресует эту проблему, предлагая новую модель, которая позволяет LLMs эффективно интегрировать временные ряды на разных уровнях. ## Метод Предлагаемая модель, **Multi-layer Steerable Embedding Fusion (MSEF)**, обеспечивает глубокую интеграцию временных рядов в текстовые модели. MSEF использует фундаментальные модели временных рядов для извлечения семантически богатых временных рядов. Эти временные ряды затем встраиваются в текстовые слои модели через **steering vectors**, которые адаптируются на каждом уровне модели. Эти steering vectors стремятся максимизировать взаимодействие между временными рядами и текстовыми слоями, позволяя модели адаптироваться легко и эффективно в режиме few-shot. Эта архитектура позволяет LLMs более тонко рассматривать временные ряды на протяжении всего процесса обучения. ## Результаты Работа провела эксперименты на семь разных бенчмарковых датасетов, сравнив результаты с другими современными подходами. Модель MSEF показала существенную улучшенную точность среднего квадратичного отклонения (MSE), снизив его на среднем 31.8% по сравнению с базовыми моделями. Эти результаты указывают на эффективность MSEF в использовании временных рядов для улучшения прогнозирования. Данные эксперименты подтверждают, что новый подход сохраняет значимую информацию о временных рядах на всех уровнях текстовой модели, что делает его чрезвычайно эффективным в сложных задачах прогнозирования. ## Значимость Предлагаемый подход имеет широкие области применения, включая финансовый анализ, медицинское прогнозирование и мониторинг систем. Он предоставляет значительные преимущества перед существующими подходами, такими как улучшенное взаимодействие между модальностями и сохранение точности прогнозирования при малоизвестных данных. Это может привести к улучшению решений во многих технических и научных областях, где временные ряды играют ключевую роль. ## Выводы Результаты показываю