Integrating attention into explanation frameworks for language and vision transformers

## Контекст Transformer-архитектуры, основанные на механизме внимания (attention), стали одним из ключевых инструментов в областях естественного языка обработки (NLP) и компьютерного зрения (computer vision). Они позволяют эффективно обрабатывать и анализировать большие объемы данных. Однако, несмотря на их высокую точность, эти модели часто становятся "черными ящиками", трудно объясняющими свои решения. Это затрудняет их использование в задачах, требующих понимания принципов принятия решений, таких как медицина, финансы и правоохранительные действия. Значительный интерес в последние годы уделяется развитию методов explainable AI (XAI), которые способствуют пониманию того, как модели принимают свои решения. Тем не менее, существующие методы часто ограничены в точности или не включают в себя понимание внутренних механизмов, таких как внимательность. ## Метод Разработанные в этой работе методы интегрируют внимательность в рамки существующих XAI-фреймворков, адаптируя их для обеспечения более точных и интуитивных объяснений. Одна из методик предлагает интегрировать внимательность с теорией Шапли (Shapley values), определив характеристическую функцию через парные взаимодействия токенов, восходящие к внимательной модели. Это позволяет получать подробные локальные объяснения, которые отражают вклад каждого токена в модельное решение. Вторая методика использвает внимательность для измерения вклада токенов в различные понятия (concepts), используя векторы активации понятий. Эти методы работают как для NLP, так и для компьютерного зрения, обеспечивая универсальность и гибкость. ## Результаты Наши эксперименты проводились на стандартных NLP- и computer vision-benchmarks, включая задачи классификации текстов и визуального распознавания. Мы сравнивали полученные результаты с тремя широко распространенными методами XAI. Результаты показали, что интеграция внимательности в эти фреймворки улучшает точность и понятность объяснений. Например, адаптированные методы Shapley values с внимательностью демонстрировали более точные локальные объяснения, чем исходные методы. Точность global explanation-методов, использующих векторы активации понятий, также существенно увеличилась, что было доказано с помощью метрик, таких как faithfulness и comprehensiveness. ## Значимость Интеграция внимательности в XAI-фреймворки имеет значительный потенциал в различных областях применения. В NLP, эти методы могут использоваться для создания более прозрачных систем перевода, синтеза и обслуживания клиентов. В компьютерном зрении, они могут повысить доверие к моделям в таких приложениях, как диагностика заболеваний и авто