Rule2Text: A Framework for Generating and Evaluating Natural Language Explanations of Knowledge Graph Rules
2508.10971v1
cs.CL, cs.AI
2025-08-19
Авторы:
Nasim Shirvani-Mahdavi, Chengkai Li
Резюме на русском
#### Контекст
Knowledge graphs (KGs) являются важной структурой для представления информации, но их встроенная сложность и индивидуальные метками трудно интерпретировать. Это ограничивает их применение в реальных ситуациях, где понятные и наглядные описания являются ключевым фактором успешного использования. Авторы работы предлагают Rule2Text, фреймворк, который использует значительные языковые модели для генерирования естественных языковых описаний для логических правил, извлеченных из KGs. Это позволяет упростить интерпретацию логических правил и улучшить доступность и пользовательский опыт при работе с KGs.
#### Метод
Для генерирования естественных языковых описаний правил используется технология трансформации текста с помощью языковых моделей (LLMs). Основными этапами технологии являются:
- **Подготовка данных**: логические правила извлекаются из KGs и преобразуются в входные данные для LLMs.
- **Множественные стратегии тренировки**: модели тренируются с нулевым, несколькими и типами входных переменных, а также применяют цепочку рассуждений (Chain-of-Thought).
- **Оценка качества**: результаты оцениваются через личность-в-кольце (human-in-the-loop) с учетом точности и понятности.
- **Оптимизация модели**: лучшие результаты используются для оптимизации модели Zephyr, чтобы дать более точные и понятные выводы.
- **Типизация правил**: для KGs без явных типов разрабатывается модуль для интерпретации типов правил.
#### Результаты
На различных датасетах (Freebase, ogbl-biokg) проводились эксперименты с различными LLM-моделями, включая Gemini 2.0 Flash и Zephyr. Оценка показала, что стратегия Chain-of-Thought оказалась самой эффективной для генерирования точных и ясных описаний. Личность-в-кольце-контроль показал высокую точность модели и согласие с личностью-в-кольце-оценкой. Оптимизированная модель Zephyr с типизацией правил демонстрирует значительный прогресс в качестве генерируемых описаний, особенно на доменных датасетах.
#### Значимость
Предложенный фреймворк Rule2Text имеет широкие применения в области упрощения интерпретации логических правил в KGs, что может повысить их применение в сквозных приложениях, включая интеллектуальный анализ данных и рекомендательные системы. Основные преимущества:
- Улучшение доступности KGs для пользователей.
- Увеличение точности и понятности выводов.
- Расширение применения KGs в различных деловых и научных областях.
#### Выводы
Rule2Text демонстрирует значительные улучшения в генерации естественных языковых описаний для логических правил в KGs. Он показывает мощь трансформационных языковых моделей в упрощении слож
Abstract
Knowledge graphs (KGs) can be enhanced through rule mining; however, the
resulting logical rules are often difficult for humans to interpret due to
their inherent complexity and the idiosyncratic labeling conventions of
individual KGs. This work presents Rule2Text, a comprehensive framework that
leverages large language models (LLMs) to generate natural language
explanations for mined logical rules, thereby improving KG accessibility and
usability. We conduct extensive experiments using multiple datasets, including
Freebase variants (FB-CVT-REV, FB+CVT-REV, and FB15k-237) as well as the
ogbl-biokg dataset, with rules mined using AMIE 3.5.1. We systematically
evaluate several LLMs across a comprehensive range of prompting strategies,
including zero-shot, few-shot, variable type incorporation, and
Chain-of-Thought reasoning. To systematically assess models' performance, we
conduct a human evaluation of generated explanations on correctness and
clarity. To address evaluation scalability, we develop and validate an
LLM-as-a-judge framework that demonstrates strong agreement with human
evaluators. Leveraging the best-performing model (Gemini 2.0 Flash), LLM judge,
and human-in-the-loop feedback, we construct high-quality ground truth
datasets, which we use to fine-tune the open-source Zephyr model. Our results
demonstrate significant improvements in explanation quality after fine-tuning,
with particularly strong gains in the domain-specific dataset. Additionally, we
integrate a type inference module to support KGs lacking explicit type
information. All code and data are publicly available at
https://github.com/idirlab/KGRule2NL.
Ссылки и действия
Дополнительные ресурсы: