Explainable AI Methods for Neuroimaging: Systematic Failures of Common Tools, the Need for Domain-Specific Validation, and a Proposal for Safe Application
2508.02560v1
cs.LG, cs.CV, eess.IV, q-bio.NC, stat.ML
2025-08-09
Авторы:
Nys Tjade Siegel, James H. Cole, Mohamad Habes, Stefan Haufe, Kerstin Ritter, Marc-André Schulz
Резюме на русском
Надежная интерпретация нейроимаджинга с помощью депейпд-леарнинга требует достоверных методов объяснения (XAI). Однако существующие XAI-методы часто не проходят строгий валидации, что подрывает надежность их выводов. В первый раз был проведен крупномасштабный систематический анализ этих методов на ~45,000 структурных MRI, используя новую фреймворк для валидации XAI. Этот фреймворк создавал признаки с ясно определенным сигналом — от локализованных анатомических особенностей до клинических лезионов — без изменения входных изображений. Анализ показал, что два из наиболее популярных методов, GradCAM и LRP, систематически не отвечали на ожидания, а SmoothGrad, проще в принципе, показался более надежным. Эти находки указывают на необходимость доработки XAI-методов для нейроимаджинга, подтверждают необходимость переоценки предыдущих исследований и дают рекомендации для безопасного применения XAI в этой области.
Abstract
Trustworthy interpretation of deep learning models is critical for
neuroimaging applications, yet commonly used Explainable AI (XAI) methods lack
rigorous validation, risking misinterpretation. We performed the first
large-scale, systematic comparison of XAI methods on ~45,000 structural brain
MRIs using a novel XAI validation framework. This framework establishes
verifiable ground truth by constructing prediction tasks with known signal
sources - from localized anatomical features to subject-specific clinical
lesions - without artificially altering input images. Our analysis reveals
systematic failures in two of the most widely used methods: GradCAM
consistently failed to localize predictive features, while Layer-wise Relevance
Propagation generated extensive, artifactual explanations that suggest
incompatibility with neuroimaging data characteristics. Our results indicate
that these failures stem from a domain mismatch, where methods with design
principles tailored to natural images require substantial adaptation for
neuroimaging data. In contrast, the simpler, gradient-based method SmoothGrad,
which makes fewer assumptions about data structure, proved consistently
accurate, suggesting its conceptual simplicity makes it more robust to this
domain shift. These findings highlight the need for domain-specific adaptation
and validation of XAI methods, suggest that interpretations from prior
neuroimaging studies using standard XAI methodology warrant re-evaluation, and
provide urgent guidance for practical application of XAI in neuroimaging.