Model Interpretability and Rationale Extraction by Input Mask Optimization

## Контекст Модели на основе нейронных сетей, особенно в области естественного языка и компьютерного зрения, продвигаются с поразительной скоростью. Однако, несмотря на их высокую точность, эти модели часто остаются черными ящиками, которые не дают понятных ответов о причинах своих решений. Это приводит к потребности в разработке методов, которые могут объяснить решения моделей. Более того, нередко необходимо не только объяснить решение, но и извлечь причины, которые стали основой для этого получения. Мы предлагаем новый подход, основанный на маскировании частей входных данных, которые модель считает некритичными для целевого класса. Это достигается с помощью оптимизации градиентов и регуляризационного схемы, которая гарантирует, что маскируемые части данных не только не влияют на решение, но и достаточны для поддержки этого решения. Этот подход позволяет сочетать модельные подходы к моделированию интерпретируемости и выделению причин. ## Метод Предлагаемый подход основывается на маскировании частей входных данных с помощью градиентной оптимизации. Мы используем регуляризационную схему, которая включает в себя три основных условия: существенность, полноту и компактность. Эти условия гарантируют, что исключенные части входных данных не только не влияют на решение модели, но и достаточны для того, чтобы поддержать его. Оптимизация происходит в два этапа: в первом этапе, мы определяем части входных данных, которые не влияют на решение модели; во втором этапе, мы оптимизируем эти части, чтобы они были достаточно информативными для поддержки решения. Этот подход может быть применен как к текстовым, так и к изображениям. ## Результаты Мы проверяли наш подход на текстовых данных и изображениях. Для текстовых данных, мы показали, что наш метод может стабильно выделять конкретные фрагменты текста, которые становятся причиной решения модели. Для изображений, мы получили выделение конкретных областей на изображении, которые становятся ключевыми для корректного распознавания моделью. Мы также проверили наш подход на множестве моделей и задач, показав, что он может быть применен к различным моделям и задачам. ## Значимость Предлагаемый подход может быть применен во многих областях, где необходимо понимание решений моделей. Это могут быть приложения в области естественного языка, компьютерного зрения, медицины и даже финансов. Наш подход имеет очевидные преимущества перед другими методами. Во-первых, он не требует тренировки дополнительных моделей для получения причин, что упрощает процесс. Во-вторых, он может быть применен к различным типам входных данных, что демонстрирует его очень высокую гибкость.