Can LLM-Generated Textual Explanations Enhance Model Classification Performance? An Empirical Study
2508.09776v1
cs.CL, cs.AI
2025-08-15
Авторы:
Mahdi Dhaini, Juraj Vladika, Ege Erdogan, Zineb Attaoui, Gjergji Kasneci
Резюме на русском
#### Контекст
В последние годы естественная языковая обработка (NLP) получила беспрецедентную популярность благодаря развитию технологий представления языка, в том числе трансформеров и глубоких нейронных сетей. Однако, несмотря на эти успехи, прозрачность и интерпретируемость моделей остаются значимыми проблемами. Недостаток понимания поведения моделей снижает доверие к ним и ограничивает их применение в критичных областях, таких как медицина, право и финансы.
Классические подходы для улучшения интерпретируемости включают ручную разметку данных, но этот подход требует объемных ресурсов человеком, исключает масштабируемость и неэффективен. В этой статье мы рассматриваем роль текстовых объяснений, создаваемых языковыми моделями, в повышение прозрачности и эффективности моделей.
#### Метод
Мы предлагаем автоматизированный подход, который использует несколько современных больших языковых моделей (LLMs) для генерации текстовых объяснений. Наша архитектура включает следующие этапы:
1. **Подготовка данных**: Мы обрабатываем исходные данные, убедившись в их соответствии требованиям языковым моделям.
2. **Генерация текстовых объяснений**: Мы применяем LLMs, такие как GPT-3, для генерации текстовых объяснений, которые должны быть качественными, точными и относительно контекстуальными.
3. **Оценка качества**: Мы используем метрики NLG, такие как BLEU, METEOR и ROUGE, для оценки качества генерируемых текстов.
4. **Испытание на задачах**: Мы применяем текстовые объяснения для улучшения классификации моделей, в рамках задач натурального научного интерпретации (NLI).
#### Результаты
Мы провели эксперименты на двух разных датасетах в области NLI: MultiNLI и SNLI. Мы сравнили полученные текстовые объяснения с ручными, сгенерированными людьми. Наши результаты показали, что текстовые объяснения, сгенерированные LLMs, не только эффективны в улучшении точности классификации, но и сопоставимы с текстами, созданными человеком.
Метрики NLG показали, что текстовые объяснения имеют высокий уровень точности и контекстуальности, что делает их хорошим альтернативным в различных классификационных задачах.
#### Значимость
Наши находки имеют многочисленные приложения в области NLP. В частности, они могут быть использованы для:
1. **Улучшения моделей**: Обеспечение предсказаний моделей более прозрачными и доступными.
2. **Расширение датасетов**: Генерирование текстовых объяснений для массовой разметки данных без ручного вмешательства.
3. **Масштабируемость**: Включение текстовых объяснени
Abstract
In the rapidly evolving field of Explainable Natural Language Processing
(NLP), textual explanations, i.e., human-like rationales, are pivotal for
explaining model predictions and enriching datasets with interpretable labels.
Traditional approaches rely on human annotation, which is costly,
labor-intensive, and impedes scalability. In this work, we present an automated
framework that leverages multiple state-of-the-art large language models (LLMs)
to generate high-quality textual explanations. We rigorously assess the quality
of these LLM-generated explanations using a comprehensive suite of Natural
Language Generation (NLG) metrics. Furthermore, we investigate the downstream
impact of these explanations on the performance of pre-trained language models
(PLMs) and LLMs across natural language inference tasks on two diverse
benchmark datasets. Our experiments demonstrate that automated explanations
exhibit highly competitive effectiveness compared to human-annotated
explanations in improving model performance. Our findings underscore a
promising avenue for scalable, automated LLM-based textual explanation
generation for extending NLP datasets and enhancing model performance.
Ссылки и действия
Дополнительные ресурсы: