PENGUIN: Enhancing Transformer with Periodic-Nested Group Attention for Long-term Time Series Forecasting

#### Контекст Long-term time series forecasting (LTSF) является ключевым заданием в области анализа данных, которое находит применение в многих сферах, включая экономику, финансы, энергетику и транспорт. Несмотря на то, что Transformer-based модели достигли успеха в многих задачах, их эффективность в LTSF остается спорной. Это связано с проблемами, такими как неэффективное масштабирование при работе с длинными последовательностями и недостаточная учета периодических характеристик во входных данных. Для решения этих проблем необходимо разработать модели, которые могут одновременно обрабатывать длинные последовательности и эффективно учитывать периодические структуры. #### Метод Мы предлагаем Periodic-Nested Group Attention (PENGUIN), который состоит из двух ключевых компонентов: periodic-nested relative attention bias и grouped attention mechanism. Эти механизмы позволяют модели PENGUIN эффективно моделировать периодичности, независимо от их вида (например, дневные или недельные циклы). Periodic-nested relative attention bias используется для прямого учета периодических структур, тогда как grouped attention mechanism позволяет одновременно учитывать несколько периодичностей. Модель также включает multi-query attention, которая повышает ее эффективность и точность. #### Результаты Мы проводили эксперименты на нескольких LTSF-benchmarks, включая Electricity, Traffic и Exchange-Rate. Результаты показали, что PENGUIN превосходит оба MLP-based и Transformer-based методы. Она показывает лучшую точность в предсказании при максимальном доступном контексте в 2048 точек. Эксперименты также подтвердили, что PENGUIN выдает более точные результаты при обработке данных с несколькими периодичностями. #### Значимость PENGUIN может быть применена в различных областях, где требуется точное предсказание данных временных рядов, таких как энергетическая промышленность, транспорт, финансы и логистика. Ее основные преимущества заключаются в высокой точности, эффективности обработки данных с множеством периодичностей и удобстве в использовании. Эта модель может стать предпочтительным выбором для LTSF и положить основу для будущих исследований в этой области. #### Выводы Предложенная модель PENGUIN доказала свою эффективность в LTSF, показав значительные выигрыши по сравнению с конкурирующими методами. Мы планируем продолжать развивать эту модель, направляясь на улучшение ее масштабируемости и учета дополнительных контекстных факторов. Это позволит PENGUIN стать еще более мощным инструментом для решения LTSF задач в различных практических приложениях.