PTQAT: A Hybrid Parameter-Efficient Quantization Algorithm for 3D Perception Tasks
2508.10557v1
cs.CV, cs.AI
2025-08-16
Авторы:
Xinhao Wang, Zhiwei Lin, Zhongyu Xia, Yongtao Wang
Резюме на русском
#### Контекст
Современные 3D-перцепшн-задачи, такие как обнаружение объектов, сегментация сцены и прогнозирование оккупантности, требуют высокоточных моделей, которые эффективно работают на устройствах с ограниченными ресурсами. Однако модели сети, обученные с помощью 32-битных точных чисел, требуют необходимости в повышении эффективности. Одним из основных подходов является пост-тренировочная квантизация (PTQ), позволяющая снизить требования к вычислительным ресурсам, но часто приводящая к неприемлемой потере точности. Другой подход — квантизация с подготовкой к тренировке (QAT), которая позволяет сохранить точность, но требует значительных вычислительных затрат и длительного времени тренировки. Эти ограничения вдохновили развитие гибридных подходов, которые объединяют преимущества обеих методик.
#### Метод
PTQAT — это новый гибридный метод квантизации, основанных на выборе критических слоёв модели, где применяется QAT, а остальные слои — PTQ. Такой подход позволяет минимизировать потерю точности, компенсируя неточности в тех слоях, где они значительнее. За счёт этого можно эффективно использовать QAT для ключевых слоёв, а PTQ для остальных. Этот метод также поддерживает различные бит-скорости квантизации (например, 4 бита) и может применяться к разным архитектурам моделей, включая CNN и Transformer.
#### Результаты
Проведённые эксперименты показали, что PTQAT позволяет достичь результатов, которые сопоставимы с QAT, но с значительно более высокой эффективностью. Он достигает 0.2%-0.9% роста в наблюдаемой точности (NDS) в задачах обнаружения объектов, 0.3%-1.0% повышения mAP и 0.3%-2.0% повышения mIoU в задачах сегментации сцены и прогнозирования оккупантности. Этот подход также требует меньше весов для тренировки, чем QAT, что делает его более эффективным в плане ресурсов.
#### Значимость
PTQAT может быть применён в различных 3D-перцепшн-задачах, включая те, что требуют высокой точности и малого расхода ресурсов, такие как автоматизированные системы управления автомобилями и системы видеонаблюдения. Этот подход позволяет эффективно сочетать быструю работу с высокой точностью и гибкостью в использовании различных моделей. Будущие исследования могут быть направлены на расширение поддержки других типов моделей и улучшение точности в сложных сценариях.
#### Выводы
PTQAT представляет собой эффективный гибридный подход к квантизации моделей 3D-перцепшн, который компенсирует неточности квантизации с помощью целенаправленного применения QAT. Он позволяет достич
Abstract
Post-Training Quantization (PTQ) and Quantization-Aware Training (QAT)
represent two mainstream model quantization approaches. However, PTQ often
leads to unacceptable performance degradation in quantized models, while QAT
imposes substantial GPU memory requirements and extended training time due to
weight fine-tuning.In this paper, we propose PTQAT, a novel general hybrid
quantization algorithm for the efficient deployment of 3D perception networks.
To address the speed accuracy trade-off between PTQ and QAT, our method selects
critical layers for QAT fine-tuning and performs PTQ on the remaining layers.
Contrary to intuition, fine-tuning the layers with smaller output discrepancies
before and after quantization, rather than those with larger discrepancies,
actually leads to greater improvements in the model's quantization accuracy.
This means we better compensate for quantization errors during their
propagation, rather than addressing them at the point where they occur. The
proposed PTQAT achieves similar performance to QAT with more efficiency by
freezing nearly 50% of quantifiable layers. Additionally, PTQAT is a universal
quantization method that supports various quantization bit widths (4 bits) as
well as different model architectures, including CNNs and Transformers. The
experimental results on nuScenes across diverse 3D perception tasks, including
object detection, semantic segmentation, and occupancy prediction, show that
our method consistently outperforms QAT-only baselines. Notably, it achieves
0.2%-0.9% NDS and 0.3%-1.0% mAP gains in object detection, 0.3%-2.0% mIoU gains
in semantic segmentation and occupancy prediction while fine-tuning fewer
weights.
Ссылки и действия
Дополнительные ресурсы: