SpeCa: Accelerating Diffusion Transformers with Speculative Feature Caching
2509.11628v1
cs.LG, cs.AI, cs.CV
2025-09-17
Авторы:
Jiacheng Liu, Chang Zou, Yuanhuiyi Lyu, Fei Ren, Shaobo Wang, Kaixin Li, Linfeng Zhang
Резюме на русском
#### Контекст
Диффузионные модели стали синонимом высококачественного синтеза изображений и видео, но их вычислительные затраты ограничивают их применение в реальном времени. Эти модели сталкиваются с двумя основными проблемами: строгие временные зависимости, затрудняющие параллельное выполнение, и высокая сложность вычислений в процессе денойсинга на каждом шаге. Несмотря на их превосходство в сфере глубокого обучения, эти ограничения приводят к затратному процессу и неэффективности во время выполнения. Мотивацией для разработки SpeCa служит необходимость устранить эти недостатки, обеспечив оптимальный баланс между высоким качеством генерации и эффективностью вычислений. Инновационным подходом является использование спекулятивной характеристики, которая позволяет значительно сократить время выполнения, не ухудшая качество результатов.
#### Метод
SpeCa представляет собой фреймворк "Forecast-then-verify", основанный на новом подходе Speculative Sampling. Эта технология предсказывает промежуточные фичи для следующих шагов синтеза на основе полностью проанализированных стадий. Особенностью SpeCa является использование простейшего подхода к верификации предсказаний — процесс, не требующий дополнительных параметров и не вносящий значительного технического объема. Динамический механизм выделения ресурсов дает возможность модифицировать использование ресурсов в зависимости от сложности генерации. Например, простые случаи требуют меньше вычислительных ресурсов, в то время как трудные сценарии получают дополнительное внимание. Этот метод обеспечивает эффективность в реальном времени, сохраняя качество генерации даже при высоких ускорениях.
#### Результаты
В ходе экспериментов были проведены тесты на FLUX, DiT, и HunyuanVideo, показав выдающиеся результаты. На FLUX было достигнуто ускорение 6.34x с лишь 5.5% ухудшением качества. Для DiT ускорение составило 7.3x с сохранением качественной генерации. HunyuanVideo показал 79.84% VBench скор при 6.1x ускорении. Механизм верификации, центральный элемент SpeCa, установил малоизбыточный накладной расход — 1.67%-3.5% по сравнению со стоимостью полного процесса инференса. Эти результаты показали, что SpeCa может быть применено в ситуациях, где высокая скорость и качество необходимы одновременно.
#### Значимость
SpeCa открывает новые горизонты для реального времени в синтезе изображений и видео. Он применяется в различных сферах, включая VR/AR, игровые приложения, и даже медицинскую изоморфическую генерацию. Основные преимущества включают уменьшение времени выполнения без существенного
Abstract
Diffusion models have revolutionized high-fidelity image and video synthesis,
yet their computational demands remain prohibitive for real-time applications.
These models face two fundamental challenges: strict temporal dependencies
preventing parallelization, and computationally intensive forward passes
required at each denoising step. Drawing inspiration from speculative decoding
in large language models, we present SpeCa, a novel 'Forecast-then-verify'
acceleration framework that effectively addresses both limitations. SpeCa's
core innovation lies in introducing Speculative Sampling to diffusion models,
predicting intermediate features for subsequent timesteps based on fully
computed reference timesteps. Our approach implements a parameter-free
verification mechanism that efficiently evaluates prediction reliability,
enabling real-time decisions to accept or reject each prediction while
incurring negligible computational overhead. Furthermore, SpeCa introduces
sample-adaptive computation allocation that dynamically modulates resources
based on generation complexity, allocating reduced computation for simpler
samples while preserving intensive processing for complex instances.
Experiments demonstrate 6.34x acceleration on FLUX with minimal quality
degradation (5.5% drop), 7.3x speedup on DiT while preserving generation
fidelity, and 79.84% VBench score at 6.1x acceleration for HunyuanVideo. The
verification mechanism incurs minimal overhead (1.67%-3.5% of full inference
costs), establishing a new paradigm for efficient diffusion model inference
while maintaining generation quality even at aggressive acceleration ratios.
Our codes have been released in Github:
\textbf{https://github.com/Shenyi-Z/Cache4Diffusion}
Ссылки и действия
Дополнительные ресурсы: