WeTok: Powerful Discrete Tokenization for High-Fidelity Visual Reconstruction
2508.05599v1
cs.CV
2025-08-09
Авторы:
Shaobin Zhuang, Yiwei Guo, Canmiao Fu, Zhipeng Huang, Zeyue Tian, Ying Zhang, Chen Li, Yali Wang
Резюме на русском
**Резюме**
Визуальные токенизаторы играют ключевую роль в задачах визуальной генерации, но существующие модели часто сталкиваются со сложностями в балансировке компрессии и высокой точности восстановления. Мы предлагаем **WeTok** — мощный токенизатор, решающий эти проблемы за счет двух ключевых инноваций. **Групповая Локальная Квантования (GQ)** позволяет эффективно уменьшить памяти и вычислительных затрат, достигая более стабильного восстановления до мелких деталей. **Генерирующее Декодирование (GD)** с добавленным шумовым представлением позволяет моделировать распределение визуальных данных с учетом токенов, обеспечивая высококачественное восстановление даже при высоких степенях компрессии.
В экспериментах на ImageNet-50k WeTok показал рекордно низкие rFID-значения (0.12 при нейтральной компрессии и 3.49 при сжатии 768), превосходя конкурентов, такие как FLUX-VAE и SD-VAE. Модель WeTok демонстрирует переломный прорыв в сочетании высокой компрессии и точности восстановления, что делает ее привлекательной для применения в визуальных задачах. Код и модели доступны по ссылке.
Abstract
Visual tokenizer is a critical component for vision generation. However, the
existing tokenizers often face unsatisfactory trade-off between compression
ratios and reconstruction fidelity. To fill this gap, we introduce a powerful
and concise WeTok tokenizer, which surpasses the previous leading tokenizers
via two core innovations. (1) Group-wise lookup-free Quantization (GQ). We
partition the latent features into groups, and perform lookup-free quantization
for each group. As a result, GQ can efficiently overcome memory and computation
limitations of prior tokenizers, while achieving a reconstruction breakthrough
with more scalable codebooks. (2) Generative Decoding (GD). Different from
prior tokenizers, we introduce a generative decoder with a prior of extra noise
variable. In this case, GD can probabilistically model the distribution of
visual data conditioned on discrete tokens, allowing WeTok to reconstruct
visual details, especially at high compression ratios. Extensive experiments on
mainstream benchmarks show superior performance of our WeTok. On the ImageNet
50k validation set, WeTok achieves a record-low zero-shot rFID (WeTok: 0.12 vs.
FLUX-VAE: 0.18 vs. SD-VAE 3.5: 0.19). Furthermore, our highest compression
model achieves a zero-shot rFID of 3.49 with a compression ratio of 768,
outperforming Cosmos (384) 4.57 which has only 50% compression rate of ours.
Code and models are available: https://github.com/zhuangshaobin/WeTok.
Ссылки и действия
Дополнительные ресурсы: