Agentic AutoSurvey: Let LLMs Survey LLMs
2509.18661v1
cs.IR, cs.CL, cs.HC
2025-09-25
Авторы:
Yixin Liu, Yonghui Wu, Denghui Zhang, Lichao Sun
Резюме на русском
## Контекст
Современные научные исследования сталкиваются с возрастающими вызовами в синтезе знаний в условиях быстро меняющихся научных областей. Экспоненциальный рост научной литературы требует новых подходов для эффективной синтеза и обобщения информации. Предыдущие методы, такие как AutoSurvey, либо нехватка систематической синтеза информации, либо ограничена своей способностью обеспечить высокую синтетическую качественность. Эти ограничения мотивируют развитие систем, построенных на агентно-агентной архитектуре, для решения этих проблем.
## Метод
**Agentic AutoSurvey** — это развитие агентной архитектуры, основанной на команде из четырех специализированных агентов. Каждый агент выполняет роль в конкретной стадии процесса синтеза: **Paper Search Specialist** выбирает и определяет целевые работы, **Topic Mining & Clustering** группирует и структурирует литературу, **Academic Survey Writer** оформляет результаты в научном стиле, а **Quality Evaluator** гарантирует высокое качество исходящих результатов. Эта архитектура объединяет эффективность поиска, интеграции и оценки качества, обеспечивая глубокий анализ и синтез.
## Результаты
Исследования проводились на 6 репрезентативных темах из COLM 2024, включая различные аспекты самообучения моделей. Agentic AutoSurvey обрабатывал 75–443 работ на каждой теме (общее число — 847). Многоступенчатый подход достиг 8.18/10 в синтезе информации, что значительно превосходит базовую систему AutoSurvey с результатом 4.77/10. Оценка проводилась по 12-мерной метрике, включающей комплексный анализ организации, синтеза и критического анализа. Эти результаты показывают, что новый подход предлагает значительные улучшения в сравнении с имеющимися методами.
## Значимость
Agentic AutoSurvey направлен на область автоматизированного синтеза литературы в научных исследованиях, особенно в быстро меняющихся областях, таких как машинное обучение и глубокое обучение. Эта система может быть применена для создания комплексных обобщений и анализов существующих исследований, уменьшая время и усилия, необходимые для создания обзоров. Её высокая точность и комплексный подход к синтезу делают её привлекательной для научных работников и академических сообществ.
## Выводы
Agentic AutoSurvey представляет собой прорыв в области автоматизированного синтеза литературы, обеспечивая более глубокий и точный анализ научных работ. Будущие исследования будут направлены на улучшение методов, расширение поддерживаемых тематик и оптимизацию процесса синтеза для более широкого спектра научных областей.
Abstract
The exponential growth of scientific literature poses unprecedented
challenges for researchers attempting to synthesize knowledge across rapidly
evolving fields. We present \textbf{Agentic AutoSurvey}, a multi-agent
framework for automated survey generation that addresses fundamental
limitations in existing approaches. Our system employs four specialized agents
(Paper Search Specialist, Topic Mining \& Clustering, Academic Survey Writer,
and Quality Evaluator) working in concert to generate comprehensive literature
surveys with superior synthesis quality. Through experiments on six
representative LLM research topics from COLM 2024 categories, we demonstrate
that our multi-agent approach achieves significant improvements over existing
baselines, scoring 8.18/10 compared to AutoSurvey's 4.77/10. The multi-agent
architecture processes 75--443 papers per topic (847 total across six topics)
while targeting high citation coverage (often $\geq$80\% on 75--100-paper sets;
lower on very large sets such as RLHF) through specialized agent orchestration.
Our 12-dimension evaluation captures organization, synthesis integration, and
critical analysis beyond basic metrics. These findings demonstrate that
multi-agent architectures represent a meaningful advancement for automated
literature survey generation in rapidly evolving scientific domains.
Ссылки и действия
Дополнительные ресурсы: