Towards LLM-generated explanations for Component-based Knowledge Graph Question Answering Systems

## Контекст В современных сложных системах, таких как QA-системы, развивается сложность, которая затрудняет разработчикам и пользователям понимание и объяснение поведения и решений, принятых этими системами. Эта проблема становится актуальной для компонентных систем QA, в которых AI-методы используются для обработки входных данных и формирования вывода. Используемые методы часто не предоставляют достаточного понимания результатов, что требует дополнительной работы по уточнению и интерпретации. Мотивация для этого исследования — создание прозрачных систем, которые могут объяснить свое поведение. Особенно важно, чтобы такие объяснения были доступны для не специалистов, но и для широкой аудитории, которая может не иметь глубоких технических знаний. ## Метод Методология исследования основывается на представлении выполнения компонентных систем в виде представления данных, которое включает в себя их входные и выходные данные. В данном случае, входные данные — это SPARQL-запросы, а выходные — RDF-триплы. Для построения объяснений используются два подхода: шаблонный (baseline) и генерируемый с помощью Лёгких Языковых Моделей (LLM). Шаблонный подход предлагает предварительно определенные форматы объяснений, в то время как LLM-подход автоматически формирует понятные и информативные объяснения на основе полученных данных. ## Результаты На основе экспериментов проводился сравнительный анализ объяснений, полученных с помощью шаблонного подхода и LLM. Шаблонные объяснения были определены вручную и имели ограниченную форматированность, что приводило к недостаткам в понимании. ЛЛМ-подход, напротив, способен формировать более естественные и лаконичные объяснения, которые были лучше оценены пользователями. Заметное преимущество LLM-подхода заключается в том, что он не только упрощает вывод, но и генерирует объяснения, которые лучше соответствуют потребностям пользователей. ## Значимость Этот подход может быть применен в различных QA-системах для улучшения понимания пользователями результатов выполнения запросов. Он также позволяет улучшить доступность сложных систем для пользователей с разным уровнем знаний. Важное преимущество LLM-подхода — возможность автоматического формирования объяснений, что экономит время и ресурсы. В будущем, это может привести к расширению возможностей объяснения для QA-систем и других AI-систем, чтобы их можно было легко использовать в реальных ситуациях. ## Выводы Результаты исследования показали, что ЛЛМ-подход представляет собой эффективный способ объяснения поведения компонентных QA-систем. Объяснения, полученные с помощью LLM, показали высокое качество и бы