MALLM: Multi-Agent Large Language Models Framework

#### Контекст Многоагентные дебаты (MAD) являются мощным инструментом для повышения коллективного интеллекта, основанного на масштабировании вычислительного ресурса во время выполнения тестов и использовании экспертного знания. Однако существующие системы MAD часто ограничены в гибкости интегрированной оценки, конфигурировании личностей агентов, генераторов ответов, парадигм дебатов и протоколов принятия решений. Таким образом, необходимо создать более гибкую и настраиваемую платформу для исследований в области многоагентных дебатов. #### Метод MALLM (Multi-Agent Large Language Models) — это открытая платформа, разработанная для систематического анализа компонентов многоагентных дебатов. Она предоставляет более 144 уникальных конфигураций дебатов, включая (1) личности агентов (например, эксперт, личности), (2) генераторы ответов (например, критический, разумный), (3) парадигмы дебатов (например, память, передача) и (4) протоколы принятия решений (например, голосование, консенсус). MALLM позволяет определять дебаты с помощью простых файлов конфигураций. Кроме того, она поддерживает загрузку текстовых датасетов (например, MMLU-Pro, WinoGrande) и предоставляет полный пайплайн для оценки и сравнения конфигураций MAD. #### Результаты Проведенные эксперименты позволили протестировать различные конфигурации MAD. MALLM эффективно сталкивает агентов в конфликтных ситуациях, используя различные личности, генераторы ответов и протоколы принятия решений. Оценка результатов показала, что MALLM обеспечивает гибкость и надежность в анализе многоагентных дебатов, что демонстрирует мощь предложенного фреймворка. #### Значимость MALLM может быть применен в области моделирования разума, взаимодействия агентов и решения проблем с использованием многоагентных дебатов. Он предоставляет широкий спектр конфигураций, что позволяет лучше понять взаимодействие различных компонентов MAD. Помимо этого, MALLM может использоваться для проведения конкретных исследований и сравнения новых идей в области многоагентных дебатов. #### Выводы MALLM представляет собой инновационный подход к исследованию многоагентных дебатов. Он открывает новые возможности для изучения интеллектуальных процессов в многоагентных системах. Будущие исследования будут нацелены на расширение функциональности MALLM, улучшение его методов оценки и расширение применений в различных областях.