#### Контекст Многоагентные дебаты (MAD) являются мощным инструментом для повышения коллективного интеллекта, основанного на масштабировании вычислительного ресурса во время выполнения тестов и использовании экспертного знания. Однако существующие системы MAD часто ограничены в гибкости интегрированной оценки, конфигурировании личностей агентов, генераторов ответов, парадигм дебатов и протоколов принятия решений. Таким образом, необходимо создать более гибкую и настраиваемую платформу для исследований в области многоагентных дебатов. #### Метод MALLM (Multi-Agent Large Language Models) — это открытая платформа, разработанная для систематического анализа компонентов многоагентных дебатов. Она предоставляет более 144 уникальных конфигураций дебатов, включая (1) личности агентов (например, эксперт, личности), (2) генераторы ответов (например, критический, разумный), (3) парадигмы дебатов (например, память, передача) и (4) протоколы принятия решений (например, голосование, консенсус). MALLM позволяет определять дебаты с помощью простых файлов конфигураций. Кроме того, она поддерживает загрузку текстовых датасетов (например, MMLU-Pro, WinoGrande) и предоставляет полный пайплайн для оценки и сравнения конфигураций MAD. #### Результаты Проведенные эксперименты позволили протестировать различные конфигурации MAD. MALLM эффективно сталкивает агентов в конфликтных ситуациях, используя различные личности, генераторы ответов и протоколы принятия решений. Оценка результатов показала, что MALLM обеспечивает гибкость и надежность в анализе многоагентных дебатов, что демонстрирует мощь предложенного фреймворка. #### Значимость MALLM может быть применен в области моделирования разума, взаимодействия агентов и решения проблем с использованием многоагентных дебатов. Он предоставляет широкий спектр конфигураций, что позволяет лучше понять взаимодействие различных компонентов MAD. Помимо этого, MALLM может использоваться для проведения конкретных исследований и сравнения новых идей в области многоагентных дебатов. #### Выводы MALLM представляет собой инновационный подход к исследованию многоагентных дебатов. Он открывает новые возможности для изучения интеллектуальных процессов в многоагентных системах. Будущие исследования будут нацелены на расширение функциональности MALLM, улучшение его методов оценки и расширение применений в различных областях.

## Контекст В последние годы большие языковые модели (LLM) начали широко использоваться в различных областях, включая общение, помощь в решении задач и системы управления. Благодаря их мощи, LLMs могут провести диалоги, выполнять задачи и даже координировать свои действия в рамках многоагентных систем. Однако одной из наиболее важных проблемой в таких системах является доверительные отношения между моделями. Хотя люди часто развивают доверительные отношения друг с другом, существует недостаточно исследований, касающихся способами формирования доверия между LLMs и оценки этого доверия. Это проблема становится еще более актуальной в свете того, что LLMs все чаще используются в командных задачах, где доверие является ключевым фактором успеха. Цель данного исследования — изучить способы строительства доверия между LLMs и разработать методы его измерения. ## Метод Мы разработали архитектуру для изучения и измерения доверия между LLMs. Для этого использовались три основные подхода: 1. **Динамическое строительство отношений доверия**: Модели динамически строят доверие друг к другу в ходе взаимодействия, аналогично тому, как люди формируют отношения в ходе диалогов. 2. **Использование предварительно написанных скриптов**: Мы использовали скрипты, в которых явно происходит доверительное воздействие, чтобы изучить, как модели реагируют на уже сформированные отношения. 3. **Адаптация системных пропусков**: Мы изменяли системные пропуски в моделях, чтобы изменить их поведение в процессе взаимодействия. Для измерения доверия мы применяли два подхода: - **Имплицитные меры**: Мы изучали, насколько модели влияют друг на друга, например, степень убежденности одной модели другой, или степень сотрудничества в финансовых действиях. - **Эксплицитные меры**: Мы применяли тесты, аналогичные психологическим тестам доверия, в которых модели отвечают на вопросы о том, насколько они доверяют друг другу. ## Результаты Мы провели ряд экспериментов, в ходе которых измеряли уровень доверия между моделями. Нашли, что имплицитные меры доверия, такие как убежденность и сотрудничество, часто не соответствуют эксплицитным мерам доверия, которые были измерены с помощью тестов в опросном формате. Например, модели, которые отображали высокий уровень доверия в имплицитных тестах, могли отображать низкий уровень доверия в эксплицитных тестах. Это указывает на то, что LLMs могут иметь разные способности воспринимать доверие в зависимости от контекста и подхода к измерению. ## Значимость Наши результаты имеют значительную значимость в област