ArgRAG: Explainable Retrieval Augmented Generation using Quantitative Bipolar Argumentation

#### Контекст Стоят вызовы, связанные с неудовлетворительной точностью и непрозрачностью существующих архитектур Retrieval-Augmented Generation (RAG) в высокорисковых областях. Такие проблемы могут привести к ошибкам в решениях серьезного характера. Из-за того, что RAG часто полагается на неявные или шумные субъективные выводы, она становится чувствительной к шуму в вводимых данных и не умеет полноценно объяснять свои решения. Это создает серьезные ограничения для применения в сферах, таких как медицина, закон и финансы. Мотивация для ArgRAG — преодолеть эти проблемы, обеспечив создание более прозрачной и обоснованной системы генерирования, позволяющей пользователю полностью понять и подвергнуть субъективным тестам выводы, которые она сделает. #### Метод ArgRAG основывается на Quantitative Bipolar Argumentation Framework (QBAF), который представляет собой структурированный подход к обработке аргументов. На вход ArgRAG подается набор документов, полученных в результате поиска по запросу. Он строит QBAF в виде графа, где узлы представляют аргументы, а ребра — степень влияния одного аргумента на другой. Для вывода ArgRAG использует правила Gradual Semantics, которые формализуют понятие степени убедительности аргументов. Таким образом, ArgRAG предлагает полностью детерминированный подход, который допускает подробный анализ результатов и их проверку в условиях субъективности входных данных. #### Результаты В ходе экспериментов ArgRAG был оценен на двух наборах данных: PubHealth и RAGuard, посвященных классификации фактовых утверждений. Он показал сравнительную высокую точность в задаче fact verification, при этом значительно превосходя другие методы по уровню прозрачности решений. В ходе экспериментов установлено, что ArgRAG не только выдает более точные выводы, но и предоставляет понятные и подтвердимые экспертом объяснения, позволяя тестировать их на ценность и правильность. Это позволяет ArgRAG быть удовлетворительным инструментом для сценариев, где необходима интеллектуальная прозрачность. #### Значимость ArgRAG может быть применен в множестве сфер, где требуется высокая точность и прозрачность решений. Например, в медицинской диагностике, в судебных запросах, в финансовой аналитике, где любая ошибка может быть критична. Он предоставляет не только более полные ответы, но и позволяет пользователю понять, что именно стало основой для вывода, а также подвергнуть этой основе критический анализ. Помимо этого, ArgRAG может стать основой для развития других методов, которые будут использовать структурированную аргументацию в целях повышения прозрачности и уменьшения влияния шума. #### Выводы ArgRAG полность