Symphony: A Decentralized Multi-Agent Framework for Scalable Collective Intelligence

## Контекст ### Область исследования В последние годы технологии машинного обучения, особенно Large Language Models (LLM), становятся все более важной частью систем коллективного развития интеллекта. Однако многие существующие системы оркестрации LLM-агентов основываются на централизованной архитектуре, что приводит к высоким затратам на развертывание, строгому ограничению типов взаимодействия между агентами и ограниченной гибкостью в адаптивной организации. Эти ограничения становятся помехой для эффективной и гибкой работы систем. ### Мотивация Существует необходимость в разработке архитектуры, которая бы снимала эти ограничения, обеспечивая масштабируемость, легковесность и высокую доступность. Задача состоит в том, чтобы развить систему, в которой LLMs могут быть использованы в сети, независимо от того, используются ли они на централизованном сервере или на более низком уровне, таком как пользовательский GPU. ## Метод ### Описание методологии Symphony основывается на децентрализованной многоагентной системе, где LLMs, работающие на потребительских GPU, могут координироваться в сети. Основные механизмы, реализованные в Symphony: 1. **Децентрализованная книга учета (ledger)** — для сбора информации о возможностях каждого агента. 2. **Протокол Beacon-selection** — динамическое назначение задач, основываясь на возможностях и статусе каждого агента. 3. **Распределенная голосование по CoTs (Claims of Truth)** — решение задач с помощью голосования, где каждый агент предоставляет свои решения, и окончательное решение определяется по весам. ### Технические решения и архитектура Symphony использует легковесные LLMs, что позволяет уменьшить нагрузку на вычислительные ресурсы. Децентрализованная архитектура обеспечивает высокую надежность и отказоустойчивость, так что даже при отказе одного или нескольких узлов сеть продолжает работать. Это делает Symphony легко масштабируемой и гибкой для различных задач. ## Результаты ### Эксперименты и данные Для проверки эффективности Symphony проводились ряд экспериментов на различных бенчмарках реактивного мышления и совместного решения задач. Оценивались метрики точности решений, скорость выполнения и устойчивость к ошибкам. Для этого использовались различные модели LLM с разными уровнями возможностей и размеров. ### Результаты В результате экспериментов Symphony показала значительные улучшения по сравнению с существующими базовыми решениями. Она достигла высокой точности решений, демонстрируя гибкость и способность работать в разных условиях. Также была продемонстрирована высокая отказоустойчивость, когда даже при отказ