Toward Verifiable Misinformation Detection: A Multi-Tool LLM Agent Framework
2508.03092v1
cs.AI, cs.CL
2025-08-09
Авторы:
Zikun Cui, Tianyi Huang, Chia-En Chiang, Cuiqianhe Du
Резюме на русском
Многоязычные языковые модели (LLMs) становятся важной частью систем, решающих проблему распространения неточной информации. Однако традиционные подходы к детекции неточностей ограничиваются бинарными определениями (точное/неточное), не учитывая глубину и логику верификации. Данная работа предлагает инновационный LLM-агент, реализующий многошаговую верификацию неточностей. Агент использует три основных инструмента: решение поисковых задач, оценку источников достоверности и проверку численных утверждений. Он собирает, проверяет и синтезирует доказательства, обеспечивая полную логическую цепочку вывода. Агент оценивался на высококачественных датасетах, включая FakeNewsNet, и показал превосходство по сравнению с традиционными моделями и LLMs в точности детекции, логической ясности и устойчивости к изменению контента. Результаты демонстрируют перспективность данного подхода для создания надежных, прозрачных и эффективных систем AI-ассистированной факт-чекинг.
Abstract
With the proliferation of Large Language Models (LLMs), the detection of
misinformation has become increasingly important and complex. This research
proposes an innovative verifiable misinformation detection LLM agent that goes
beyond traditional true/false binary judgments. The agent actively verifies
claims through dynamic interaction with diverse web sources, assesses
information source credibility, synthesizes evidence, and provides a complete
verifiable reasoning process. Our designed agent architecture includes three
core tools: precise web search tool, source credibility assessment tool and
numerical claim verification tool. These tools enable the agent to execute
multi-step verification strategies, maintain evidence logs, and form
comprehensive assessment conclusions. We evaluate using standard misinformation
datasets such as FakeNewsNet, comparing with traditional machine learning
models and LLMs. Evaluation metrics include standard classification metrics,
quality assessment of reasoning processes, and robustness testing against
rewritten content. Experimental results show that our agent outperforms
baseline methods in misinformation detection accuracy, reasoning transparency,
and resistance to information rewriting, providing a new paradigm for
trustworthy AI-assisted fact-checking.
Ссылки и действия
Дополнительные ресурсы: