Free-MAD: Consensus-Free Multi-Agent Debate

#### Контекст Многоагентные дебаты (MAD, Multi-Agent Debate) являются перспективным подходом к улучшению резолюционных способностей больших языковых моделей (LLMs). Эти методы построены на интерактивной коммуникации множества агентов, которые стремятся к выработке согласия на ответ на заданный вопрос. Однако существующие MAD-системы страдают от нескольких ограничений. Во-первых, многократные обороты обмена сообщениями увеличивают накладные расходы в виде токенов и снижают масштабируемость. Во-вторых, LLMs чувствительны к социальному влиянию, что приводит к ошибкам в рассуждениях и их распространению посредством консенсуса. В-третьих, множественный дефект большинства при многократных голосованиях приводит к случайности и неравенству в решениях. #### Метод Чтобы устранить эти проблемы, мы предлагаем **Free-MAD** — новую модель MAD, которая убирает необходимость в консенсусе между агентами. Механизм **Free-MAD** основывается на оценке всего дебатного траектории, а не только последней итерации. Это позволяет более точно использовать развитие разума каждого агента при выводе ответа. Для того чтобы снизить влияние консенсуса и улучшить справедливость решения, мы ввели понятие **anti-conformity** — специальную механику, которая позволяет агентам противостоять групповой согласованности и избегать лишних ошибок. Это приводит к более сбалансированным и точным выводам. #### Результаты Мы проверили Free-MAD на восьми различных бенчмарк-датасетах. Результаты показали, что Free-MAD не только повышает точность рассуждений, но и сокращает потребление токенов, так как у него только одна итерация дебата. Благодаря отсутствию консенсуса и применению anti-conformity, Free-MAD демонстрирует высокую устойчивость к атакам, когда данные вводятся специально для того, чтобы сбить модель с толку. #### Значимость Предложенный подход может быть применен в различных областях, где необходима скорая, точность и справедливость вывода: от генерации ответов в системах разметки данных до решения задач сложного анализа в любой области. Free-MAD значительно сокращает стоимость и время вычислений, а также улучшает надежность в условиях реальной атаки. Это делает его привлекательным для применения в реальных системах, где требуется высокая эффективность и правосудие. #### Выводы Мы представили Free-MAD, новую модель MAD, которая эффективно работает без консенсуса и использует anti-conformity для повышения точности и справедливости. Наши результаты показывают, что Free-MAD превосходит существующие методы в своей области, предлагая новый подход к многоагентным дебатам. Будущие исследовани