Can Agents Judge Systematic Reviews Like Humans? Evaluating SLRs with LLM-based Multi-Agent System

## Контекст Systematic Literature Reviews (SLRs) являются ключевым элементом evidence-based research, но часто требуют больших усилий и являются уязвимыми для непоследовательности в различных дисциплинах. Эти проблемы вызывают нужду в эффективных инструментах для автоматизации процесса оценки SLR. Недостаток современных методов в том, что они либо слишком затратны, либо недостаточно точны. Мы предлагаем LLM-based SLR evaluation copilot, основанный на Multi-Agent System (MAS), для помощи исследователям в оценке качества SLR. MAS автоматизирует проверку протоколов, методологическую оценку и анализ тематической релевантности с использованием базы знаний. ## Метод Мы разработали Multi-Agent System (MAS) с использованием LLM, который работает на основе PRISMA-guidelines. Каждый агент отвечает за конкретную задачу: проверка протокола, методологическая оценка и тематический анализ. Архитектура MAS включает в себя специализированные модели, обученные на больших данных для точной аналитики. Метод предлагает структурированный подход к оценке SLR и позволяет сравнивать результаты с expert-annotated PRISMA scores. Мы использовали 5 SLRs из различных дисциплин для экспериментов, чтобы проверить эффективность нашего подхода. ## Результаты Мы провели эксперименты с 5 различными SLRs и сравнили наши результаты с PRISMA scores, полученными экспертами. Наша модель показала 84% согласованности с эталонными данными. Эти результаты показывают, что наше решение эффективно в автоматизации процесса SLR-оценки. Особенно заметен выигрыш в точности и структуре оценки в сравнении с традиционными методами. Это демонстрирует возможность нашей модели для точной и структурированной оценки SLR. ## Значимость Наше решение может быть применено во многих областях, где требуется оценка качества SLR, включая health sciences, social sciences и engineering. Оно обеспечивает более точный и эффективный подход к оценке SLR, снижая трудозатраты и улучшая единообразие оценок. Это может привести к более качественным и быстрейшим итогам в различных научных и практических задачах. ## Выводы Мы успешно продемонстрировали, что наш LLM-based MAS может существенно улучшить процесс оценки SLR. Наша работа открывает путь к будущим исследованиям в области NLP-driven automation для структурированной и точной оценки SLR, что может иметь широкое применение в различных дисциплинах. Будущие исследования будут направлены на улучшение точности, расширение набора данных и расширение применений системы в новых областях.