DETNO: A Diffusion-Enhanced Transformer Neural Operator for Long-Term Traffic Forecasting
2508.19389v1
cs.LG, stat.AP
2025-08-30
Авторы:
Owais Ahmad, Milad Ramezankhani, Anirudh Deodhar
Резюме на русском
#### Контекст
Научные исследования в области транспортных систем сталкиваются с значительными вызовами в области долгосрочного прогнозирования трафика. Одним из ключевых проблемных моментов является точность прогнозирования высокочастотных феноменов, таких как шоки, конгестальные зоны и разрывы в трафическом потоке на протяжении долгих периодов. Нейронные операторы последние годы приобрели популярность своим поverимостью моделировать трафик с помощью методов аппроксимации функций. Однако, они склонны гладко изображать трафический поток, что приводит к быстрому растущему погрешности в прогнозировании и потере высокочастотных феноменов, которые критичны для реального времени. Данная проблема требует разработки новых подходов, которые бы решали эти сложности и повышали качество прогнозов в моделях транспортных систем.
#### Метод
Наша разработка, Diffusion-Enhanced Transformer Neural Operator (DETNO), представляет собой инновационную модель, которая объединяет преимущества трансформерных операторов и диффузионной рефинементации. DETNO основывается на кросс-аттенционных механизмах, обеспечивающих высокую гибкость и моделированию с высоким разрешением. Для улучшения высокочастотных феноменов в трафике, мы вводим диффузионную компоненту, которая использует процесс прогрессивного денойсинга для точного восстановления высокочастотных деталей. Эта архитектура позволяет преодолеть гладкость, которая характерна для стандартных моделей, и улучшить стабильность прогнозов в течение долгих роллаутов. Таким образом, DETNO является универсальной архитектурой для решения задачи долгосрочного прогнозирования трафика.
#### Результаты
Мы проводили обширные эксперименты с использованием популярных датасетов, таких как PeMS и METR-LA, для оценки эффективности DETNO. Наши результаты показали, что DETNO превосходит стандартные и трансформерные модели в плане точности прогнозов на длинных роллаутах. Она эффективно восстанавливает высокочастотные феномены, такие как шоки и конгестальные зоны, и показывает значительное сокращение погрешности в прогнозировании. Эти результаты подтверждают масштабируемость DETNO и её применимость к реальному времени для моделирования трафика.
#### Значимость
Применение DETNO может полностью изменить подходы к долгосрочному прогнозированию трафика в транспортных системах. Её основные преимущества заключаются в точности прогнозов, улучшенной стабильности и возможности моделировать высокочастотные феномены. Это включает в себя повышение качества управления трафиком, повышение безопасности и эффективности транспортных систем. Мы видим б
Abstract
Accurate long-term traffic forecasting remains a critical challenge in
intelligent transportation systems, particularly when predicting high-frequency
traffic phenomena such as shock waves and congestion boundaries over extended
rollout horizons. Neural operators have recently gained attention as promising
tools for modeling traffic flow. While effective at learning function space
mappings, they inherently produce smooth predictions that fail to reconstruct
high-frequency features such as sharp density gradients which results in rapid
error accumulation during multi-step rollout predictions essential for
real-time traffic management. To address these fundamental limitations, we
introduce a unified Diffusion-Enhanced Transformer Neural Operator (DETNO)
architecture. DETNO leverages a transformer neural operator with
cross-attention mechanisms, providing model expressivity and super-resolution,
coupled with a diffusion-based refinement component that iteratively
reconstructs high-frequency traffic details through progressive denoising. This
overcomes the inherent smoothing limitations and rollout instability of
standard neural operators. Through comprehensive evaluation on chaotic traffic
datasets, our method demonstrates superior performance in extended rollout
predictions compared to traditional and transformer-based neural operators,
preserving high-frequency components and improving stability over long
prediction horizons.
Ссылки и действия
Дополнительные ресурсы: