Can Less Precise Be More Reliable? A Systematic Evaluation of Quantization's Impact on CLIP Beyond Accuracy

## Контекст Видение-языковые модели (VLMs), такие как CLIP, стали революционным инструментом для решения задач в области обработки изображений и текста. Они обладают выдающимися возможностями zero-shot generalization и используются в решении задач безопасности, таких как детекция вне-дистрибуционных объектов (OOD). Однако, в данных моделях CLIP всё ещё существуют недостатки, связанные с эффективностью и надежностью при их реальном развёртывании. Одним из таких аспектов является влияние квантования (quantization) на производительность моделей. Несмотря на то, что квантование широко распространено в машинном обучении для уменьшения требований к ресурсам, его влияние на CLIP за пределами точности (accuracy) остается значительно недооцененным. Это делает необходимым подробное исследование и оценку того, как квантование влияет на надежность, калибровку и обобщающую способность CLIP. ## Метод Для того чтобы изучить влияние квантования на CLIP, авторы применяют тщательную оценку набора метрик, охватывающих качество распознавания, калибровку и OOD-детекцию. Использованные данные включают в себя обучающие и тестовые данные, используемые в оригинальной CLIP-модели, а также дополнительные вне-дистрибуционные данные для оценки OOD-способности. Методология исследования включает оценку классических метрик точности, но также включает рассмотрение показателей калибровки, таких как ECE (Expected Calibration Error), а также метрики OOD-точности. Архитектура оценки включает эксперименты с различными методами квантования, включая post-training quantization (PTQ) и quantization-aware training (QAT). ## Результаты Исследование показало, что квантование может привести к неожиданным результатам в зависимости от исходной тренировочной среды модели. Например, для моделей, которые в начале были менее точны (underconfident), квантование приводит к улучшению калибровки, но может негативно сказываться на точности. Несмотря на это, OOD-точность может улучшиться за счёт квантования. В то же время, для моделей, которые изначально были сильно уверенными в своих прогнозах (overconfident), квантование может привести к ухудшению калибровки. Однако, QAT-методы позволяют достичь баланса между этими двумя крайностями, повысив калибровку, точность и OOD-точность одновременно. Эти результаты вызывают удивление, поскольку доказывают, что квантование не только уменьшает требования к ресурсам, но и может улучшить целостную надежность модели. ## Значимость Полученные результаты имеют важное значение для применения VLMs в реальном мире, где необходимы модели, которые сочетают высокую эффективность, надежность и устойчивость к непредвиденным ситуациям. В