## Контекст Systematic Literature Reviews (SLRs) являются ключевым элементом evidence-based research, но часто требуют больших усилий и являются уязвимыми для непоследовательности в различных дисциплинах. Эти проблемы вызывают нужду в эффективных инструментах для автоматизации процесса оценки SLR. Недостаток современных методов в том, что они либо слишком затратны, либо недостаточно точны. Мы предлагаем LLM-based SLR evaluation copilot, основанный на Multi-Agent System (MAS), для помощи исследователям в оценке качества SLR. MAS автоматизирует проверку протоколов, методологическую оценку и анализ тематической релевантности с использованием базы знаний. ## Метод Мы разработали Multi-Agent System (MAS) с использованием LLM, который работает на основе PRISMA-guidelines. Каждый агент отвечает за конкретную задачу: проверка протокола, методологическая оценка и тематический анализ. Архитектура MAS включает в себя специализированные модели, обученные на больших данных для точной аналитики. Метод предлагает структурированный подход к оценке SLR и позволяет сравнивать результаты с expert-annotated PRISMA scores. Мы использовали 5 SLRs из различных дисциплин для экспериментов, чтобы проверить эффективность нашего подхода. ## Результаты Мы провели эксперименты с 5 различными SLRs и сравнили наши результаты с PRISMA scores, полученными экспертами. Наша модель показала 84% согласованности с эталонными данными. Эти результаты показывают, что наше решение эффективно в автоматизации процесса SLR-оценки. Особенно заметен выигрыш в точности и структуре оценки в сравнении с традиционными методами. Это демонстрирует возможность нашей модели для точной и структурированной оценки SLR. ## Значимость Наше решение может быть применено во многих областях, где требуется оценка качества SLR, включая health sciences, social sciences и engineering. Оно обеспечивает более точный и эффективный подход к оценке SLR, снижая трудозатраты и улучшая единообразие оценок. Это может привести к более качественным и быстрейшим итогам в различных научных и практических задачах. ## Выводы Мы успешно продемонстрировали, что наш LLM-based MAS может существенно улучшить процесс оценки SLR. Наша работа открывает путь к будущим исследованиям в области NLP-driven automation для структурированной и точной оценки SLR, что может иметь широкое применение в различных дисциплинах. Будущие исследования будут направлены на улучшение точности, расширение набора данных и расширение применений системы в новых областях.

## Контекст Область исследования агентных мультиагентных систем в области искусственного интеллекта является ключевым направлением развития моделей машинного обучения. Одной из основных проблем в этой области является создание моделей, которые могут эффективно совместно работать в сложных задачах, требующих хорошего понимания структуры окружающего мира. Этот вопрос наиболее актуален в таких задачах, как робототушки или робототуризм, где агенты должны выполнять коллективные задачи, но при этом имеют ограниченные возможности по изучению окружающего мира. Одной из причин этого является недостаток эффективных методов построения и использования высших уровней структуры, чтобы ориентироваться в высокомерных и нерегулярных пространствах применимости. Это ограничивает возможности агентов до реакции на мгновенные события, а не достижения долгосрочных целей. Мотивация для построения исследования заключается в том, чтобы развить методы, позволяющие агентам оперировать с более высоким уровнем структуры, чтобы они могли более эффективно решать задачи, требующие долгосрочного планирования и сложного совместного взаимодействия. ## Метод Для решения этой проблемы предлагается использовать систему, которая строит используя языковые модели, систему "областей" и "признаков", которые взаимодействуют с многоагентной средой. Эта система построит объектно-ориентированную иерархию, где основные задачи делятся на меньшие, более управляемые подзадачи. Для этого используется технология высокого уровня, которая может динамически изменять контекст и структуру задач на основе языковых команд. Например, если агенту требуется выполнить задачу, связанную с созданием структуры в системе, модель языка может сформировать иерархию задач, разбив их на подзадачи, которые могут быть выполнены в зависимости от контекста и целей. Эта структура позволит агентам научиться выполнять более сложные задачи, такие как динамическое планирование и выполнение коллективных задач в совместных задачах. ## Результаты На основе экспериментов, проведенных на основе 2024-го года, было проанализировано многоагентное обучение в средах, где использовались технологии марковских решений и многоагентного машинного обучения. Был оценен эффект использования языковых моделей для построения иерархической структуры задач. Результаты показали, что использование языковых моделей для построения иерархической структуры задач дает значительные выгоды по сравнению с более традиционными методами. Система позволяла агентам эффективней ориентироваться в пространстве

## Контекст Современные машинное обучение и анализ данных часто сталкиваются с трудностями при настройке моделей и алгоритмов. Настройка конфигураций — это критический аспект, включающий в себя регулирование архитектуры модели, стратегии обучения, признаков и гиперпараметров. Традиционные подходы часто работают в рамках изолированного рассмотрения каждой из этих сфер, что приводит к неэффективности и недостатку понимания процесса. В то же время, автоматизированные методы, такие как grid search и random search, либо не могут адаптироваться динамически к изменениям, либо не обладают способностью семантического анализа. Мотивированы тем, что необходимо создать более интеллектуальный подход, мы предлагаем Language-Guided Tuning (LGT) — рамку работы, которая использует многоагентные Large Language Models для оптимизации конфигураций с использованием естественного языка. ## Метод LGT основывается на многоагентной модели, в которой каждый агент имеет свой специализированный роль. Этот подход включает Advisor, Evaluator и Optimizer. Advisor генерирует новые конфигурации на основе естественного языка и возможности понимания особенностей оптимизации. Evaluator оценивает эффективность новых конфигураций, используя текстовые сигналы (текстовые градиенты), которые позволяют понять динамику обучения и взаимосвязи между конфигурациями. Optimizer, в свою очередь, адаптирует стратегию оптимизации на основе результатов Evaluator. Этот цикл создает самоповышающуюся систему, где каждый агент способствует улучшению общей системы. ## Результаты Мы проводили современные эксперименты на шести различных наборах данных, используя различные модели и задачи. Результаты показывают, что LGT превосходит традиционные методы, такие как grid search и random search, в соотношении качества результатов к времени выполнения. Также мы обнаружили, что наша система обладает высокой интерпретируемостью, что позволяет пользователям лучше понять принципы принятых решений. Например, в задаче регрессии на основе датасета MNIST, LGT показал до 20% улучшения в точности в сравнении с традиционными подходами. ## Значимость LGT может иметь широкие применения в машинном обучении, в том числе для настройки моделей, оптимизации гиперпараметров и автоматизированного анализа данных. Его главные преимущества заключаются в высокой эффективности, меньшем потреблении ресурсов и возможности для широкого применения. Также, LGT может быть применен в области глубокого обучения, чтобы увеличить скорость и точность оптимизации моделей. Мы считаем, что наш подход может иметь будущее в развитии интеллектуальных систем, которые могут принимать решения на основе естественного яз