A Visual Tool for Interactive Model Explanation using Sensitivity Analysis

2508.04269v1 cs.LG, cs.AI 2025-08-09
Авторы:

Manuela Schuler

Резюме на русском

**Резюме** В статье представлен SAInT, инструмент на базе Python для визуального анализа и объяснения поведения моделей машинного обучения (ML) с использованием методов чувствительности. Инструмент решает проблему недостаточного понимания моделей ML, обеспечивая интерактивный интерфейс для конфигурирования, обучения, оценки и объяснения моделей без необходимости программирования. SAInT поддерживает Human-in-the-Loop (HITL) рабочие процессы, позволяя исследователям и доменным экспертам взаимодействовать с моделями на глобальном и локальном уровнях. Глобальная атрибуция функций основана на методе чувствительности по дисперсии, а локальные объяснения предоставляются с помощью LIME и SHAP. На примере задачи классификации для прогнозирования выживаемости на Titanic демонстрируется, как SAInT может оптимизировать выбор функций и улучшить качество данных.

Abstract

We present SAInT, a Python-based tool for visually exploring and understanding the behavior of Machine Learning (ML) models through integrated local and global sensitivity analysis. Our system supports Human-in-the-Loop (HITL) workflows by enabling users - both AI researchers and domain experts - to configure, train, evaluate, and explain models through an interactive graphical interface without programming. The tool automates model training and selection, provides global feature attribution using variance-based sensitivity analysis, and offers per-instance explanation via LIME and SHAP. We demonstrate the system on a classification task predicting survival on the Titanic dataset and show how sensitivity information can guide feature selection and data refinement.

Ссылки и действия