Learning to Deliberate: Meta-policy Collaboration for Agentic LLMs with Multi-agent Reinforcement Learning

#### Контекст Исследования в области мультиагентных систем с использованием больших языковых моделей (LLMs) нацелены на решение сложных проблем в области логического и аналитического мышления. Однако существующие подходы часто ограничены статическими протоколами взаимодействия, которые не учитывают внутренние мета-когнитивные способности агентов. Эти способности, такие как догадывание, уверенность и неуверенность в ответе, остаются за пределами рассмотрения. Это приводит к узкому фокусу на макро-уровневой оркестрации, но недостаточном раскрытии внутренних механизмов агентов. Таким образом, необходимо развить подходы, которые позволят агентам адаптировать свои стратегии на основе своих мета-когнитивных состояний, чтобы улучшить их эффективность в нетривиальных задачах. #### Метод Мы предлагаем Meta-Policy Deliberation Framework (MPDF), который представляет собой децентрализованную модель, позволяющую агентам выбирать мета-активности: Persist (продолжать), Refine (уточнить) и Concede (уступить). Эти действия позволяют агентам мета-уровня координировать свои действия с учетом критериев уверенности и неопределенности. Чтобы устранить проблемы стабильности обучения, мы разработали алгоритм SoftRankPO. Он основывается на ранжировании наград с помощью гладких оценок количественных квантилей, что делает обучение устойчивым к вариации наград. Этот подход позволяет агентам более эффективно учитывать свои ресурсы и принимать обоснованные решения в условиях неопределенности. #### Результаты Мы проводим эксперименты на пяти различных наборах задач, включая математические и логические задачи. Мы сравниваем MPDF со стандартными алгоритмами и многоагентными стратегиями. Результаты показывают, что MPDF с SoftRankPO дает улучшение в 4-5% в среднем в сравнении с шестью современными методами. Это указывает на то, что MPDF не только способен улучшить решения, но и демонстрирует гибкость в адаптации к разным типам задач. Эти результаты подтверждают модель MPDF как эффективный инструмент для обучения динамичных мета-политик в мультиагентных системах. #### Значимость Мы предлагаем новую парадигму в области мультиагентных логических моделей. Наш подход не только улучшает работу агентов в ситуациях с нетривиальными задачами, но и предлагает гибкую архитектуру для расширений в будущем. Мы видим перспективы применения MPDF в областях, требующих высокой точности и сложности решений, таких как управление, робототехника и системы самообучения. Этот подход открывает новые возможности для развития мультиагентных систем с адаптивными мета-уровнями решений