SpecDiff: Accelerating Diffusion Model Inference with Self-Speculation
2509.13848v1
cs.CV, cs.LG
2025-09-19
Авторы:
Jiayi Pan, Jiaming Xu, Yongkang Zhou, Guohao Dai
Резюме на русском
#### Контекст
Развитие diffusion model inference стало ключевым направлением в области глубокого обучения, особенно в задачах, требующих высокого качества и быстродействия, таких как подстановочное изображения и текста. Однако высокие требования к вычислительным ресурсам и сложность процесса обновления моделей делают их производительность значительной ограниченной. Одним из перспективных подходов является использование feature caching, который позволяет сократить вычислительные затраты за счет хранения и повторного использования одинаковых или похожих фич на разных этапах модели. Тем не менее, текущие реализации feature caching ограничены в своей производительности из-за ограниченного использования информации. Исследование эффективных способов объединения информации о прошлом и будущем стало мотивацией для данного исследования.
#### Метод
Работа предлагает новый подход, который включает в себя self-speculation (самоспекуляцию) для объединения информации из прошлого и будущего на одном шаге. Методология \textit{SpecDiff} основывается на анализе и оценке токенов с помощью самоспекуляции, что позволяет увеличить точность и быстродействие. Архитектура \textit{SpecDiff} включает в себя два основных компонента:
1. **Feature Selection Algorithm**: Распределение важности токена с использованием самоспекуляции и исторической информации. Это позволяет выделить токены, значимость которых важна для результата.
2. **Multi-Level Feature Classification Algorithm**: Токены разделяются на классы в зависимости от их важности, что позволяет вести расчеты только для наиболее важных фич.
Эти компоненты объединены в \textit{SpecDiff}, которая работает без необходимости дополнительного обучения, что делает её применимой в различных сценариях.
#### Результаты
Проведены эксперименты на нескольких существующих diffusion models, включая Stable Diffusion 3, 3.5 и FLUX, на GPU NVIDIA A800-80GB. Результаты показали, что \textit{SpecDiff} дает следующие скорости работы:
- 2.80x скорость с незначительной потерей качества в Stable Diffusion 3
- 2.74x скорость с незначительной потерей качества в Stable Diffusion 3.5
- 3.17x скорость с незначительной потерей качества в FLUX
Эти результаты указывают на высокую эффективность \textit{SpecDiff} в сравнении с другими методами акселерации. Более того, \textit{SpecDiff} достигает новой точки параметров производительности и качества, превосходя текущие лимиты в области эффективного inference.
#### Значимость
Результаты \textit{SpecDiff} открывают новые возможности для применения diffusion models в реальном времени, таких как эффективное изображение и текстовую генерацию, а также возможности для дальнейшей разработки моделей. Основные преимущества:
- Улучшенная производительность без ущерба кач
Abstract
Feature caching has recently emerged as a promising method for diffusion
model acceleration. It effectively alleviates the inefficiency problem caused
by high computational requirements by caching similar features in the inference
process of the diffusion model. In this paper, we analyze existing feature
caching methods from the perspective of information utilization, and point out
that relying solely on historical information will lead to constrained accuracy
and speed performance. And we propose a novel paradigm that introduces future
information via self-speculation based on the information similarity at the
same time step across different iteration times. Based on this paradigm, we
present \textit{SpecDiff}, a training-free multi-level feature caching strategy
including a cached feature selection algorithm and a multi-level feature
classification algorithm. (1) Feature selection algorithm based on
self-speculative information. \textit{SpecDiff} determines a dynamic importance
score for each token based on self-speculative information and historical
information, and performs cached feature selection through the importance
score. (2) Multi-level feature classification algorithm based on feature
importance scores. \textit{SpecDiff} classifies tokens by leveraging the
differences in feature importance scores and introduces a multi-level feature
calculation strategy. Extensive experiments show that \textit{SpecDiff}
achieves average 2.80 \times, 2.74 \times , and 3.17\times speedup with
negligible quality loss in Stable Diffusion 3, 3.5, and FLUX compared to RFlow
on NVIDIA A800-80GB GPU. By merging speculative and historical information,
\textit{SpecDiff} overcomes the speedup-accuracy trade-off bottleneck, pushing
the Pareto frontier of speedup and accuracy in the efficient diffusion model
inference.
Ссылки и действия
Дополнительные ресурсы: