DFAMS: Dynamic-flow guided Federated Alignment based Multi-prototype Search
2508.20353v1
cs.LG, cs.CL
2025-08-29
Авторы:
Zhibang Yang, Xinke Jiang, Rihong Qiu, Ruiqing Li, Yihang Zhang, Yue Fang, Yongxin Xu, Hongxin Ding, Xu Chu, Junfeng Zhao, Yasha Wang
Резюме на русском
## Контекст
Federated Retrieval (FR) является кллячейчным подходом для решения проблемы халлуцинаций в значительности задач вострого развития лингвистических моделей генерирующих текст. Когда знания внешнего характера обладают внешними характеристиками, FR позволяет логично предоставить качественный ответ на запрос, путем использования федеративного поиска. Однако существующие FR-методы сталкиваются с трудностями при работе с неясными или всплывающими запросами. Это особенно актуально в кросс-доменных сценариях. Более того, стандартные подходы не всегда подходят для тонкой адаптации к контексту и идентификации подходящих подходов. Таким образом, необходимо разработать более точный и многообразный подход к FR, который может справиться с подробными запросами и сложными сценариями в кросс-доменных задачах.
## Метод
DFAMS — это новая модель, основанная на механизме динамического потока информации (DIF), которая использует алгоритмы градиентного подсчета для анализа сигналов в трансформерах. Для того, чтобы улучшить точность поиска, DFAMS использует Shapley-значение для анализа активации нейронов, связанных с пониманием запроса и разграничением границ подсфер. Модель состоит из двух основных компонентов: (i) проба DIF для идентификации логических целей запроса и (ii) модуль нормализации, который строит семантические пространства для взаимодействия представлений знаний по всем источникам. Эта модель обеспечивает тонкую оценку внутри-источника и взаимодействие между-источниками, что улучшает эффективность в хорошо сформулированных запросах.
## Результаты
Для оценки эффективности DFAMS проводились эксперименты на пяти различных базах данных, включая задачи классификации, восстановления и добавочного QA. Результаты демонстрируют, что DFAMS преобразовал теорию в практику, показав выигрыш в аккуратности классификации до 14.37%, в восстановлении до 5.38% и в дополнительной задаче QA до 6.45%. Эти результаты показали, что DFAMS превосходит ранее разработанные методы в плане точности и релевантности в хорошо сформулированных FR-задачах.
## Значимость
DFAMS может быть применен в различных областях, включая генерацию текста, восстановление информации и новые технологии в области знаний. Одним из главных преимуществ является улучшенная точность в сложных сценариях, включая кросс-доменные задачи. Это может привести к новым возможностям в области глубокого понимания текстов и структур. Будущие исследования могут ориентироваться на улучшение сложности модели, расширение многоязыковой поддержки и расширение
Abstract
Federated Retrieval (FR) routes queries across multiple external knowledge
sources, to mitigate hallucinations of LLMs, when necessary external knowledge
is distributed. However, existing methods struggle to retrieve high-quality and
relevant documents for ambiguous queries, especially in cross-domain scenarios,
which significantly limits their effectiveness in supporting downstream
generation tasks. Inspired by dynamic information flow (DIF), we propose DFAMS,
a novel framework that leverages DIF to identify latent query intents and
construct semantically aligned knowledge partitions for accurate retrieval
across heterogeneous sources. Specifically, DFAMS probes the DIF in LLMs by
leveraging gradient signals from a few annotated queries and employing Shapley
value-based attribution to trace neuron activation paths associated with intent
recognition and subdomain boundary detection. Then, DFAMS leverages DIF to
train an alignment module via multi-prototype contrastive learning, enabling
fine-grained intra-source modeling and inter-source semantic alignment across
knowledge bases. Experimental results across five benchmarks show that DFAMS
outperforms advanced FR methods by up to 14.37% in knowledge classification
accuracy, 5.38% in retrieval recall, and 6.45% in downstream QA accuracy,
demonstrating its effectiveness in complex FR scenarios.
Ссылки и действия
Дополнительные ресурсы: