Explaining Black-box Language Models with Knowledge Probing Systems: A Post-hoc Explanation Perspective

## Контекст Безрассильные языковые модели (PLM) обучены на больших объемах немаркированных данных и проявляют выдающиеся навыки рассуждения. Однако их "черные-ящик" структура затрудняет их доверительность. Из-за невозможности раскрыть причины их выводов, разработчики используют методы, называемые **post-hoc explanations**, чтобы получить информированные объяснения для внешних пользователей. Эти методы позволяют проверить, понимает ли модель неявное знание за пределами текста, а не только его поверхностную структуру. Мы предлагаем метод KnowProb, который работает как post-hoc explainer, чтобы изучить понимание PLM и отсутствие знаний. Это позволяет выявить слабые места и улучшить понимание работы PLM. ## Метод Методом KnowProb генерируются шесть типов потенциальных объяснений, рассматривая текст как поддержка различных типов знаний. Это включает три вида **knowledge-based understanding** (например, сходство сущностей или знания об имени) и три вида **association-based reasoning** (например, понятие логики или географические связи). KnowProb использует эти шесть типов объяснений, чтобы проверить, правильно ли PLM понимает текст. Такой подход позволяет выявить ошибки в понимании и раскрыть лимиты PLM. ## Результаты В экспериментах мы проверили KnowProb на нескольких моделях, включая обычные и большие PLM-модели. Мы показали, что многие модели, даже большие, не могут достаточно хорошо понимать неявное знание. Например, тесты показали, что многие модели выдают неверные ответы на вопросы, которые требуют глубокого понимания текста. KnowProb успешно выявил эти недостатки, демонстрируя, что текущие модели страдают от лимитов в их понимании нестандартных типов знаний. ## Значимость Метод KnowProb может быть полезен во многих областях, таких как разработка доверительных моделей, улучшение анализа текста и развитие новых методов обучения. Он также позволяет лучше понять ограничения PLM и направляет исследователей в разработке более транспарентых моделей. Это делает KnowProb важной частью работы над достижением более транспарентных и надежных моделей языкового понимания. ## Выводы KnowProb продемонстрировал эффективность в обнаружении слабых мест в PLM, которые страдают от ограничений в понимании нестандартных знаний. Это открыло новые возможности для повышения доверия к моделям и стимулировало развитие методов post-hoc explanations в области NLP. Будущие работы будут ориентированы на улучшение KnowProb и его применение в контексте более сложных моделей языкового понимания.