Can Less Precise Be More Reliable? A Systematic Evaluation of Quantization's Impact on CLIP Beyond Accuracy

## Контекст Видение-языковые модели (VLMs), такие как CLIP, обладают впечатляющими способностями к нулевой-выстреловой общепринципности и применяются в решении задач, включая определение выхода за пределы распределения (OOD). Однако, несмотря на их высокую точность, вопросы касательно вычислительной эффективности и надежности этих моделей остаются открытыми. Квантование (quantization), являющееся одним из методов оптимизации модели, сокращает размер модели и ускоряет её вычисления, но его влияние на производительность CLIP, не только в точности, но и в других аспектах надежности, остается нередко недостаточно исследовано. Это исследование подробно изучает эффекты квантования на CLIP, используя различные метрики, включая калибровку и определение выхода за пределы распределения (OOD). Важность исследования заключается в том, что оно было направлено на то, чтобы понять, можно ли оптимизировать VLMs, используя квантование, не только для улучшения точности, но и для обеспечения надежности и качества работы в "реальном мире". ## Метод Исследование основывается на методологии квантования (quantization), включая варианты типа Post-Training Quantization (PTQ) и Quantization-Aware Training (QAT). Авторы применяют QAT для оптимизации CLIP, контролируя изменения в модели после этой оптимизации. В ходе исследования была проанализирована не только точность (accuracy) CLIP по внутренним данным (in-distribution data), но также несколько дополнительных метрик, таких как калибровка (calibration) и определение "выхода за пределы распределения" (OOD detection). Авторы также проверили, как эти метрики влияют на разные версии CLIP, подготовленные к работе с разными источниками предварительного обучения (pre-training datasets). Методология также включала сравнение разных квантово-сознательных тренировочных методов (quantization-aware training), чтобы определить, какие из них дают наибольшую выгоду в трех областях: точности, калибровке и OOD-надежности. ## Результаты Результаты показали, что квантование, в основном, приводит к значительному улучшению калибровки (calibration) для моделей, которые изначально были "недоуверенными" (underconfident) в своих предсказаниях. Таким образом, эти модели становятся более надежными в определении "слишком высокой" или "слишком низкой" уверенности в своих ответах. Однако, для моделей, которые изначально "переуверенны" (overconfident), квантование может привести к ухудшению калибровки. Несмотря на это, даже для таких моделей, квантование положительно влияло на другие метрики надежности, такие как OOD-детекция. В результате обнаружено, что применение конкретных методов квантования-сознательного обучения (Quantization-Aware Training) позволяет получить выгоду во всех трех областях: точности, калибровки и OOD-надежности одновременно, что