Seed Diffusion: A Large-Scale Diffusion Language Model with High-Speed Inference
2508.02193v1
cs.CL, cs.LG
2025-08-09
Авторы:
Yuxuan Song, Zheng Zhang, Cheng Luo, Pengyang Gao, Fan Xia, Hao Luo, Zheng Li, Yuehang Yang, Hongli Yu, Xingwei Qu, Yuwei Fu, Jing Su, Ge Zhang, Wenhao Huang, Mingxuan Wang, Lin Yan, Xiaoying Jia, Jingjing Liu, Wei-Ying Ma, Ya-Qin Zhang, Yonghui Wu, Hao Zhou
Резюме на русском
**Резюме**
В статье представлен Seed Diffusion Preview — большой языковой модель на основе диффузионного принципа с дискретными состояниями, которая обеспечивает высокую скорость осуществления. Несостоятельность последовательного генерирования, присущая традиционным токен-бай-токен алгоритмам, приводит к заметному замедлению работы. Дискретные модели диффузии устраняют эту проблему, обеспечивая параллельное генерирование, а Seed Diffusion Preview улучшает эти возможности. Она достигает скорости 2,146 токенов/с на GPU H20, оставаясь конкурентоспособной по результатам эвалидации на классических кодевалле-бенчмарках. Это значительно превосходит Mercury и Gemini Diffusion, устанавливая новый рекорд по скорости-качеству на спектре текущих моделей. Таким образом, Seed Diffusion Preview демонстрирует передовой подход к решению проблемы производительности в моделях языкового понимания.
Abstract
We present Seed Diffusion Preview, a large-scale language model based on
discrete-state diffusion, offering remarkably fast inference speed. Thanks to
non-sequential, parallel generation, discrete diffusion models provide a
notable speedup to mitigate the inherent latency of token-by-token decoding, as
demonstrated recently (e.g., Mercury Coder, Gemini Diffusion). Seed Diffusion
Preview achieves an inference speed of 2,146 token/s over H20 GPUs while
maintaining competitive performance across a sweep of standard code evaluation
benchmarks, significantly faster than contemporary Mercury and Gemini
Diffusion, establishing new state of the art on the speed-quality Pareto
frontier for code models.
Ссылки и действия
Дополнительные ресурсы: