FS-IQA: Certified Feature Smoothing for Robust Image Quality Assessment

2508.05516v1 cs.CV 2025-08-09
Авторы:

Ekaterina Shumitskaya, Dmitriy Vatolin, Anastasia Antsiferova

Резюме на русском

Мы предлагаем новую стратегию защиты для моделей Image Quality Assessment (IQA), основанную на случайном сглаживании в пространстве признаков, а не в пространстве входных данных. Это позволяет сохранить высокое качество изображений, не прибегая к шуму в их прямом представлении. Метод подключает уровни шума в пространстве признаков с помощью вычисления максимального сингулярного значения якобиана сети. Он применим к full- и no-reference IQA моделям без изменений их архитектуры и подходит для различных сценариев использования. Метод эффективен, требуя только одного прохода через сеть, при этом ускоряя вывод в 99.5% при незащищенной и в 20.6% при защищенной версии. Наши эксперименты на двух бенчмарк-данных показали, что наш метод достигает высокой корреляции с субъективными оценками качества в 30.9% больше, чем существующие защищенные алгоритмы.

Abstract

We propose a novel certified defense method for Image Quality Assessment (IQA) models based on randomized smoothing with noise applied in the feature space rather than the input space. Unlike prior approaches that inject Gaussian noise directly into input images, often degrading visual quality, our method preserves image fidelity while providing robustness guarantees. To formally connect noise levels in the feature space with corresponding input-space perturbations, we analyze the maximum singular value of the backbone network's Jacobian. Our approach supports both full-reference (FR) and no-reference (NR) IQA models without requiring any architectural modifications, suitable for various scenarios. It is also computationally efficient, requiring a single backbone forward pass per image. Compared to previous methods, it reduces inference time by 99.5% without certification and by 20.6% when certification is applied. We validate our method with extensive experiments on two benchmark datasets, involving six widely-used FR and NR IQA models and comparisons against five state-of-the-art certified defenses. Our results demonstrate consistent improvements in correlation with subjective quality scores by up to 30.9%.

Ссылки и действия