Diverse And Private Synthetic Datasets Generation for RAG evaluation: A multi-agent framework

## Контекст Область исследования связана с технологиями реализации Retrieval-Augmented Generation (RAG), которые улучшают выводы генерирующих глубоких нейросетей за счет доступа к внешней информации. Однако, эффективность RAG-систем депендит от качества и достоверности их оценки. На данный момент, оценка RAG-систем сконцентрирована на метриках производительности, но недостаточно уделяется вниманию созданию качественных и реалистичных данных для этих целей. Это препятствует получению точных и безопасных оценок систем. Одной из ключевых проблем является нехватка данных для тестирования, которые обладали бы высокой семантической разнообразностью и соблюдали бы нормы конфиденциальности. Данная работа создает новую архитектуру, нацеленную на решение этих проблем, обеспечивая создание синтетических данных, которые подходят для эффективной оценки RAG-систем. ## Метод Разработанная методология основывается на мульти-агентной архитектуре. Для максимальной разнообразности данных используется Diversity Agent, который применяет кластеризационные техники для получения полного представления тем. Privacy Agent применяет методы маскирования данных, чтобы защитить конфиденциальную информацию в доменах, где это необходимо. QA Curation Agent строит синтетические пары вопросов-ответов, которые являются достоверным источником для тестирования RAG. Каждый агент обеспечивает конкретную функцию, но взаимодействует с другими для достижения общей цели — создания широко покрытых и защищенных данных. Разработанная система гарантирует качественные данные для эффективной оценки RAG. ## Результаты Проведены обширные эксперименты с использованием различных тестовых наборов данных. Наборы, сгенерированные с помощью мульти-агентной архитектуры, показали высокую степень диверсификации семантических данных, что улучшило результаты тестирования RAG-систем. Также, Privacy Agent существенно улучшил защиту конфиденциальных данных, достигнув высокой чувствительности к маскированию информации в различных доменах. Эти результаты показали, что синтетические данные лучше соответствуют реальным условиям оценки RAG-систем, чем те, которые использовались в базовых методах. Это позволило улучшить качество оценки и сделать ее более надежной. ## Значимость Синтетические данные, созданные данным подходом, могут быть использованы в различных областях, включая медицину, финансы и другие сферы, где защита конфиденциальной информации критически важна. Основные преимущества этого подхода заключаются в более точной и достоверной оценке RAG-систем, так как он учитывает реальные внешние фак