LLMs Don't Know Their Own Decision Boundaries: The Unreliability of Self-Generated Counterfactual Explanations

#### Контекст Современные языковые модели (LLMs) получили широкое распространение в различных областях, от систем технической поддержки до систем управления решениями. Одним из ключевых аспектов их эффективного использования является возможность объяснения своих решений на естественном языке. Эффективные объяснения не только повышают доверие пользователей к модели, но и облегчают понимание её решений. Одним из подходов к объяснению решений являются самостоятельно генерируемые контрфактульные объяснения (SCEs), в которых модель изменяет входные данные таким образом, чтобы изменить своё решение. Тем не менее, понимание того, насколько эффективны и надежны SCEs в предоставлении сведений о решениях модели, остается неясным. #### Метод Мы проводим эксперименты с несколькими моделями языка, включая T5, GPT-3 и BLOOM, чтобы изучить их способность генерировать контрфактульные объяснения. Мы используем различные данные из открытых наборов, такие как HellaSwag и WinoWhy, для оценки способности моделей генерировать SCEs, которые являются как валидными, так и минимальными. Мы оцениваем валидность SCEs путем проверки, изменил ли изменение входных данных решение модели. Минимальность оценивается с помощью метрики Джарвиса, измеряющей размер изменений входных данных. Наши эксперименты включают в себя различные настройки, такие как различные типы задач и уровни внимания к деталям, чтобы получить комплексное представление о возможностях LLMs. #### Результаты Мы обнаружили, что LLMs часто генерируют SCEs, которые валидны, но не минимальны. Например, при использовании HellaSwag, 85,4% SCEs были валидны, но только 14,2% были минимальны. Эта тенденция повторяется на других наборах данных и моделях. Мы также обнаружили, что настройка уровня внимания к деталям модели незначительно улучшает минимальность SCEs, но не влияет на их валидность. Эти результаты показывают, что SCEs либо неэффективны, поскольку не дают значительных сведений о решении модели, либо вредны, поскольку могут привести к неправильным выводам о решении модели. #### Значимость Наши результаты имеют значительное значение для различных областей применения LLMs, включая системы рекомендаций, системы мониторинга и системы моделирования. Информативные и надежные объяснения моделей могут повысить доверие к их решениям и улучшить их применимость в профессиональных сферах. Однако наши результаты показывают, что SCEs не обеспечивают таких объяснений. Это означает, что надежность SCEs должна быть тщательно проверена перед их использованием в сценариях, требующих высокой надежности. Наши находки могут помочь разработчикам моде