Wavelet Mixture of Experts for Time Series Forecasting

## Контекст Временные ряды широко используются в различных областях, включая экономику, здравоохранение, промышленность и среда. Их предсказание является ключевым заданием, которое помогает принять обоснованные решения в условиях неопределенности. Несмотря на развитие методов машинного обучения, существуют значительные проблемы. Трансформеры, несмотря на высокую точность, требуют больших объемов памяти и вычислительных ресурсов. Многослойные перцептроны (MLP), хотя эффективнее, сталкиваются с трудностями при работе с многоканальными зависимостями. Эти ограничения могут привести к неточным прогнозам или высоким затратам на вычисления. Эти мотивации подготовили почву для развития моделей, которые сочетают точность, эффективность и удобство применения. ## Метод Модель WaveTS-B основывается на волетной трансформации и многослойном перцептроне (MLP) для обработки временных рядов. Она использует волетные преобразования для выделения периодических и нестационарных функций в данных. Далее, вводится стратегия кластеризации каналов, основанная на фреймворке Mixture of Experts (MoE). Эта стратегия включает в себя механизм гейтинга и экспертный сетевой модуль, который позволяет эффективно управлять зависимостями между каналами в многоканальных данных. Модель WaveTS-M, развитая на базе WaveTS-B, специализируется на предсказании многоканальных временных рядов. Для обеспечения эффективности, модели используют легковесную архитектуру, позволяющую сохранить высокую точность при значительном сокращении числа параметров. ## Результаты Эксперименты проводились на восьми реальных датасетах временных рядов. Модели WaveTS-B и WaveTS-M показали значительное превосходство по отношению к современным алгоритмам по метрикам RMSE и MAE. Например, WaveTS-M сократила ошибки на 15% по сравнению с лучшими аналогами на многоканальных датасетах. Благодаря использованию волетных преобразований и MoE-фреймворка, модели достигли SOTA-результатов с затратой меньшего числа параметров. Это демонстрирует их эффективность и производительность в реальных сценариях. ## Значимость Модели WaveTS могут применяться в различных областях, таких как прогнозирование продаж, мониторинг здоровья и управление энергосистемами. Их основные преимущества заключаются в высокой точности прогнозов, эффективности расчетов и легковесной архитектуре. Эти модели могут существенно сократить необходимые ресурсы для обработки больших объемов данных, что делает их привлекательными для реального времени и ресурсозатратных приложений. В будущем планируется расширить модели для работы с высокочасто