SafeSieve: From Heuristics to Experience in Progressive Pruning for LLM-based Multi-Agent Communication

## Контекст LLM-based multi-agent systems представляют собой мощные инструменты для решения задач, требующих сложных коллаборативных процессов. Однако они часто сталкиваются с проблемами, такими как избыточная коммуникация и высокий потребление токенов, что снижает их эффективность. На сегодняшний день, большинство методов, нацеленных на улучшение эффективности, основываются на применении глубокого обучения, в том числе графных нейронных сетей (GNN) или жадных алгоритмов. Тем не менее, эти подходы часто изолируют этапы предобучения и оптимизации задачи, не предлагая универсального решения. Данная работа адресована этой проблеме, предлагая новую адаптивную и прогрессивную многоагентную оптимизацию, которая стремится объединить преимущества инициализации на основе LLM и улучшения на основе опыта в процессе работы. ## Метод Метод SafeSieve основывается на двух основных компонентах: ин INITIAL EVALUATION и ADAPTIVE REFINEMENT. В первой фазе (INITIAL EVALUATION), LLM оценивает семантическое содержание сообщений между агентами, чтобы инициировать интерпретацию и оценку связей. Во второй фазе (ADAPTIVE REFINEMENT), полученные данные об использовании ресурсов и результатах исполнения задач используются для динамического уточнения связей между агентами. Особенно важным является использование 0-extension clustering, которая позволяет сохранить структуру команды и удалить ненужные связи без снижения коэффициента корреляции. Этот подход преодолевает ограничения жадных greedy-методов, обеспечивая более гармоничную оптимизацию. ## Результаты Проведенные эксперименты показали, что SafeSieve демонстрирует высокую эффективность и надежность в нескольких задачах, включая SVAMP и HumanEval. На этих бенчмарках, SafeSieve показал среднюю точность 94.01%, при этом снизив потребление токенов на 12.4%-27.8%. Благодаря своей адаптивной природе, SafeSieve продемонстрировал свою отказоустойчивость при работе с атаками типа prompt injection, где потерь только 1.23% в среднем. Также, в условиях неоднородных наборов данных (heterogeneous settings), SafeSieve существенно сократил затраты на развёртывание системы на 13.3%, при этом сохранив высокую производительность. ## Значимость SafeSieve представляет собой обширные возможности для применения в различных областях, где необходима эффективная коллаборативная работа многоагентных систем, таких как моделирование сложных систем, системы управления и контроля, а также системы мониторинга и анализа. Благодаря своему инновационному подходу, SafeSieve предоставляет выигрыш в эффективности и надежности, что делает его привлекательным для реального применения в практических системах. ## Выводы SafeSieve представляет собой крупный ша