Spiffy: Multiplying Diffusion LLM Acceleration via Lossless Speculative Decoding
2509.18085v1
cs.LG, cs.AI, cs.CL
2025-09-24
Авторы:
Sudhanshu Agrawal, Risheek Garrepalli, Raghavv Goel, Mingu Lee, Christopher Lott, Fatih Porikli
Резюме на русском
#### Контекст
Diffusion-based Large Language Models (dLLMs) представляют собой мощный альтернативный подход к autoregressive LLMs (AR-LLMs), предоставляя возможность достичь высоких скоростей генерации текста. Однако, существующие реализации dLLMs часто работают на порядок медленнее, декодируя только один токен на каждом шаге декодирования, чтобы максимизировать качество результата. Это приводит к значительным ограничениям в производительности. Наша мотивация заключается в том, чтобы развить эффективные методы для ускорения dLLMs без потери качества.
#### Метод
Мы предлагаем Spiffy, алгоритм спекулятивного декодирования, который ускоряет dLLM-инференс на $\mathbf{2.8{-}3.1\times}$, сохраняя при этом высокое качество результатов. У нас нет дополнительных моделей для обучения или запуска в процессе работы Spiffy. Это решение оптимально использует свойства dLLM, основываясь на структуре bidirectional generation. Мы представляем вершины спекулятивных графов, которые построены на основе самой dLLM и могут быть проверены параллельно. Кроме того, мы предлагаем высокоэффективный, offline-тактинг алгоритм, который оптимизирует структуру этих графов для увеличения скорости принятия решений.
#### Результаты
Мы проверили Spiffy на нескольких бенчмарках. У нас получилось достичь скорости генерации $\mathbf{7.9\times}$ при одновременном использовании других методов, таких как KV-caching и multi-token unmasking. Эти результаты подтверждают, что Spiffy может эффективно ускорять работу dLLMs, даже при использовании дополнительных оптимизаций.
#### Значимость
Наша работа может применяться в различных областях, таких как NLP, NLG, и другие, где требуется быстрая генерация текста с высоким качеством. Мы считаем, что Spiffy может стать ключевым решением для снижения задержек в приложениях, требующих высокоскоростной обработки текста, таких как chatbots, real-time контент-генерация и др.
#### Выводы
Мы успешно достигли значительных ускорений в работе dLLMs, оптимизируя процесс спекулятивного декодирования. Будущие исследования будут сконцентрированы на расширении Spiffy для других моделей, включая AR-LLMs, и на поиске новых способов улучшить его производительность дальше.
Abstract
Diffusion LLMs (dLLMs) have recently emerged as a powerful alternative to
autoregressive LLMs (AR-LLMs) with the potential to operate at significantly
higher token generation rates. However, currently available open-source dLLMs
often generate at much lower rates, typically decoding only a single token at
every denoising timestep in order to maximize output quality. We present
Spiffy, a speculative decoding algorithm that accelerates dLLM inference by
$\mathbf{2.8{-}3.1\times}$ while provably preserving the model's output
distribution. This work addresses the unique challenges involved in applying
ideas from speculative decoding of AR-LLMs to the dLLM setting. Spiffy proposes
draft states by leveraging the dLLM's distribution itself in an
auto-speculative manner. This approach is efficient and effective, and
eliminates the overheads of training and running an independent draft model. To
structure the candidate draft states, we propose a novel directed draft graph
which is uniquely designed to take advantage of the bidirectional, block-wise
nature of dLLM generation and can be verified in parallel by the dLLM. To
further optimize the structure of these draft graphs, we introduce an
efficient, offline calibration algorithm that procedurally determines
high-quality graph configurations. These optimized draft graphs, enabling
increased acceptance rates, lead to a significant boost in the overall speedup
achieved by the system. Crucially, Spiffy is also complementary to other recent
innovations in improving dLLM generation speeds such as KV-caching and
multi-token unmasking. We demonstrate that when combined with such parallel
decoding algorithms, Spiffy is able to effectively multiply the benefits of
these methods leading to total speedups of up to $\mathbf{7.9\times}$.
Ссылки и действия
Дополнительные ресурсы: