DETNO: A Diffusion-Enhanced Transformer Neural Operator for Long-Term Traffic Forecasting

2508.19389v1 cs.LG, stat.AP 2025-08-30
Авторы:

Owais Ahmad, Milad Ramezankhani, Anirudh Deodhar

Резюме на русском

#### Контекст Научные исследования в области транспортных систем сталкиваются с значительными вызовами в области долгосрочного прогнозирования трафика. Одним из ключевых проблемных моментов является точность прогнозирования высокочастотных феноменов, таких как шоки, конгестальные зоны и разрывы в трафическом потоке на протяжении долгих периодов. Нейронные операторы последние годы приобрели популярность своим поverимостью моделировать трафик с помощью методов аппроксимации функций. Однако, они склонны гладко изображать трафический поток, что приводит к быстрому растущему погрешности в прогнозировании и потере высокочастотных феноменов, которые критичны для реального времени. Данная проблема требует разработки новых подходов, которые бы решали эти сложности и повышали качество прогнозов в моделях транспортных систем. #### Метод Наша разработка, Diffusion-Enhanced Transformer Neural Operator (DETNO), представляет собой инновационную модель, которая объединяет преимущества трансформерных операторов и диффузионной рефинементации. DETNO основывается на кросс-аттенционных механизмах, обеспечивающих высокую гибкость и моделированию с высоким разрешением. Для улучшения высокочастотных феноменов в трафике, мы вводим диффузионную компоненту, которая использует процесс прогрессивного денойсинга для точного восстановления высокочастотных деталей. Эта архитектура позволяет преодолеть гладкость, которая характерна для стандартных моделей, и улучшить стабильность прогнозов в течение долгих роллаутов. Таким образом, DETNO является универсальной архитектурой для решения задачи долгосрочного прогнозирования трафика. #### Результаты Мы проводили обширные эксперименты с использованием популярных датасетов, таких как PeMS и METR-LA, для оценки эффективности DETNO. Наши результаты показали, что DETNO превосходит стандартные и трансформерные модели в плане точности прогнозов на длинных роллаутах. Она эффективно восстанавливает высокочастотные феномены, такие как шоки и конгестальные зоны, и показывает значительное сокращение погрешности в прогнозировании. Эти результаты подтверждают масштабируемость DETNO и её применимость к реальному времени для моделирования трафика. #### Значимость Применение DETNO может полностью изменить подходы к долгосрочному прогнозированию трафика в транспортных системах. Её основные преимущества заключаются в точности прогнозов, улучшенной стабильности и возможности моделировать высокочастотные феномены. Это включает в себя повышение качества управления трафиком, повышение безопасности и эффективности транспортных систем. Мы видим б

Abstract

Accurate long-term traffic forecasting remains a critical challenge in intelligent transportation systems, particularly when predicting high-frequency traffic phenomena such as shock waves and congestion boundaries over extended rollout horizons. Neural operators have recently gained attention as promising tools for modeling traffic flow. While effective at learning function space mappings, they inherently produce smooth predictions that fail to reconstruct high-frequency features such as sharp density gradients which results in rapid error accumulation during multi-step rollout predictions essential for real-time traffic management. To address these fundamental limitations, we introduce a unified Diffusion-Enhanced Transformer Neural Operator (DETNO) architecture. DETNO leverages a transformer neural operator with cross-attention mechanisms, providing model expressivity and super-resolution, coupled with a diffusion-based refinement component that iteratively reconstructs high-frequency traffic details through progressive denoising. This overcomes the inherent smoothing limitations and rollout instability of standard neural operators. Through comprehensive evaluation on chaotic traffic datasets, our method demonstrates superior performance in extended rollout predictions compared to traditional and transformer-based neural operators, preserving high-frequency components and improving stability over long prediction horizons.

Ссылки и действия