How can we trust opaque systems? Criteria for robust explanations in XAI

## Контекст В последние десятилетия глубокое обучение (Deep Learning, DL) превратилось в одну из наиболее эффективных и универсальных методик в области искусственного интеллекта. Однако, несмотря на свою высокую точность в предсказаниях, DL-системы часто называют "черной коробкой", так как их внутренняя работа остается загадкой даже для специалистов. Это ограничение вызывает вопросы о надежности и прозрачности таких систем, особенно в критически важных приложениях, таких как медицина, финансы и юридические системы. Без ясности в поведении таких систем трудно рассчитывать на их надежность и принятие решений на основе их выводов. Таким образом, возникает потребность в разработке методов, которые могут объяснить, что именно происходит внутри DL-систем, чтобы усилить доверие к их решениям и оптимизировать их использование в различных сферах. ## Метод Работа предлагает развитие формализованных критериев для оценки надежности объяснений, предоставляемых DL-системами. Основной методологией является разработка моделей **explanatory robustness (ER)** и **explanation method robustness (EMR)**. Объясненные модели XAI (eXplainable Artificial Intelligence) должны производить одинаковые результаты в сходных условиях, чтобы доказать свою надежность. Технический подход включает в себя формализованные меры, которые позволяют измерить надежность объяснений и сравнить различные XAI-методы. Метод также призван определить соответствие индивидуальных XAI-методов этим критериям, чтобы улучшить надежность созданных объяснений. ## Результаты В рамках этой работы проводились эксперименты с несколькими XAI-методами, включая SHAP, LIME и Grad-CAM. Использовались различные данные с разными уровнями сложности и размеров, такие как изображения, тексты и медицинские данные. Результаты показали, что некоторые методы дают схожие результаты в похожих условиях, но в некоторых случаях они все же приходят к разным выводам. Таким образом, в работе доказано, что необходимо учитывать не только высокую надежность отдельных XAI-методов, но и значительную надежность в целом, чтобы обеспечить доверие к результатам. ## Значимость Разработанная модель может быть применена во многих сферах, где необходимо понимание решений DL-систем, таких как медицинская диагностика, финансовый мониторинг, юридическая система и другие. Основное преимущество этого подхода заключается в его потенциале для улучшения доверия к DL-системам, что может способствовать их более широкому распространению и использованию. Это может привести к более прозрачным и надежным решениям в критически важных областях, где неправильные выводы могут привести к катастрофическим последствиям.