Assessing the Noise Robustness of Class Activation Maps: A Framework for Reliable Model Interpretability
2508.18154v1
cs.CV, cs.AI, cs.LG
2025-08-27
Авторы:
Syamantak Sarkar, Revoti P. Bora, Bhupender Kaushal, Sudhish N George, Kiran Raja
Резюме на русском
## Контекст
Class Activation Maps (CAMs) являются важной методологией для визуализации областей входных данных, которые используются глубокими нейронными сетями для принятия решений. CAMs играют ключевую роль в обеспечении прозрачности моделей и интерпретировании их выводов. Однако, несмотря на их популярность, их устойчивость к шумавым воздействиям остается значительно недооцененной. Несомненно, что работа моделей, основанных на CAMs, может быть серьезно затруднена высоким уровнем шума в входных данных, что вносит риск защищенности и надежности таких систем. Настоящее исследование посвящено сравнительному анализу устойчивости различных методов CAM к различным типам шума и разных архитектур моделей. Мы стремимся понять, насколько шумные данные могут повлиять на CAM, и как эти эффекты могут отличаться в зависимости от типа шума, архитектуры модели и характера данных.
## Метод
Мы разработали рамку для измерения устойчивости CAM к шумавым воздействиям, охватывающую ряд различных типов шума, таких как добавление шума (Additive Noise), масштабирование (Scaling) и методы меток (Label Noise). Для подробного изучения мы использовали несколько моделей сверточных нейронных сетей (CNN), включая ResNet, VGG и MobileNet. Набор данных состоял из CIFAR-10, CIFAR-100 и ImageNet. Мы проанализировали влияние шума на CAMs, измеряя не только изменение визуализации, но и влияние на получаемые классы. А также мы построили метрику, состоящую из двух основных компонент: **консистентности** (stability) и **отзывчивости** (responsiveness). **Консистентность** измеряется как устойчивость CAM к незначительным входным изменениям, не меняющим выбранный класс, а **отзывчивость** — как чувствительность CAM к изменениям в выводе, вызванным входными изменениями. Эти два аспекта позволяют оценить насколько устойчивы CAM к шумным воздействиям.
## Результаты
Наши эксперименты показали значительные различия в устойчивости CAM к разным типам шума в зависимости от метода CAM, архитектуры сети и характера данных. Мы обнаружили, что некоторые CAM-методы оказались более чувствительными к шуму, в то время как другие проявили более высокую устойчивость. Например, метод Grad-CAM оказался более устойчивым к добавленному шуму по сравнению с семантическими взглядами (Semantic CAM). Мы также обнаружили, что использование защищенных данных, таких как ImageNet, может существенно снизить чувствительность к шуму в отношении каких-то CAM-методов. Более того, наши результаты подтвердили, что влияние шума может быть сильно зависим от характера данных, что демонстрирует важность выбора данных для обеспечения точности и надежности CAM.
## З
Abstract
Class Activation Maps (CAMs) are one of the important methods for visualizing
regions used by deep learning models. Yet their robustness to different noise
remains underexplored. In this work, we evaluate and report the resilience of
various CAM methods for different noise perturbations across multiple
architectures and datasets. By analyzing the influence of different noise types
on CAM explanations, we assess the susceptibility to noise and the extent to
which dataset characteristics may impact explanation stability. The findings
highlight considerable variability in noise sensitivity for various CAMs. We
propose a robustness metric for CAMs that captures two key properties:
consistency and responsiveness. Consistency reflects the ability of CAMs to
remain stable under input perturbations that do not alter the predicted class,
while responsiveness measures the sensitivity of CAMs to changes in the
prediction caused by such perturbations. The metric is evaluated empirically
across models, different perturbations, and datasets along with complementary
statistical tests to exemplify the applicability of our proposed approach.
Ссылки и действия
Дополнительные ресурсы: