Conflict-Aware Soft Prompting for Retrieval-Augmented Generation

## Контекст Retrieval-augmented generation (RAG) является важной компонентой современных моделей естественного языка. Она улучшает возможности бо LARGE LANGUAGE MODELS (LLM), интегрируя внешнюю знания в их входные запросы. Однако, RAG может столкнуться с конфликтом между внешней контекстной информацией и внутренними параметрами модели. Этот конфликт, известный как context-memory conflict, возникает когда внешний контекст, полученный из внешних источников, противоречит существующим внутренним параметрам модели. Эта проблема снижает точность и надежность RAG-систем. Мотивация для данного исследования лежит в области уменьшения таких конфликтов и повышения надежности RAG-систем, что является ключевым для применения моделей в реальных сценариях. ## Метод Для решения проблемы context-memory conflict предлагается Conflict-Aware REtrieval-Augmented Generation (CARE), которая состоит из двух основных компонентов: context assessor и base LLM. Context assessor отвечает за извлечение и обработку контекстных токенов, а также для оценки надежности внешнего контекста. Он использует методы grounded/adversarial soft prompting, которые позволяют выделить сигналы, направляющие модель к более надежным источникам. Эта архитектура позволяет CARE эффективно устранять конфликт между внешним контекстом и внутренними параметрами LLM. Такой подход гарантирует точность и надежность модели в работе с противоречивыми данными. ## Результаты Результаты экспериментов показывают, что CARE эффективно решает проблему context-memory conflict. Она была протестирована на нескольких бенчмарках, включая задачи типа question answering (QA) и fact-checking. Эксперименты показали средний прирост точности на 5.0% по сравнению с базовыми RAG-системами. Этот результат указывает на то, что CARE может эффективно устранять конфликты внешнего контекста и внутренних параметров, улучшая надежность и точность RAG-систем. Это делает CARE применимой в реальных сценариях, где точность и надежность критичны. ## Значимость CARE может быть применена в различных областях, где необходима надежная и точная RAG-система. Ее возможность решать конфликты внешнего контекста и внутренних параметров делает ее идеальной для применения в сферах, где верная информация критична, таких как системы поддержки решений, медицинские модели и юридические системы. Благодаря своей возможности обеспечивать более надежные и точные ответы, CARE может существенно повысить доверие к RAG-системам и улучшить их применимость в реальных сценариях. ## Выводы В результате исследования был предложен Conflict-Aware REtrieval-Augmented Generation (CARE), которая эффективно решает проблему context-memory conflict в RAG-системах. CARE показала существенный прирост точности в задачах QA и fact-checking, устанавливая новый высокий стандарт для надежности и точности RAG-систем. Б