A Unified Multi-Agent Framework for Universal Multimodal Understanding and Generation
2508.10494v1
cs.LG, cs.AI, cs.MA
2025-08-16
Авторы:
Jiulin Li, Ping Huang, Yexin Li, Shuo Chen, Juewen Hu, Ye Tian
Резюме на русском
## Контекст
В мире современных технологий возрастает необходимость в системах, способных обрабатывать и генерировать мультимодальные данные, такие как текст, изображения, аудио и видео. Однако существующие подходы часто ограничены своей модульностью и способностью работы с несколькими видами данных одновременно. Это приводит к узкому кругу применения и сложностям в сценариях, требующих универсального понимания и генерации мультимодальных данных. Эта проблема напрягает разработчиков, которые стремятся к гибкости, модульности и эффективности. Мы предлагаем MAGUS, модульный фреймворк для решения этих проблем.
## Метод
MAGUS основывается на двух уровнях: **Cognition** (понимание) и **Deliberation** (решающее решение). В первом этапе используется многоагентная модель, где каждый агент имеет свою роль: Perceiver (понимающий), Planner (планировочный) и Reflector (отзывчивый). Они сотрудничают в рамках общего текстового пространства для выполнения задач понимания и планирования. Во втором этапе применяется метод Growth-Aware Search, который размышляет над генерацией и расширением результатов с помощью мультимодальных моделей генерации. Этот подход позволяет объединить лучшие свойства различных моделей без необходимости совместной обучения.
## Результаты
Для оценки эффективности MAGUS проводились эксперименты на нескольких бенчмарках, в том числе для генерации изображений, видео и аудио, а также для задач кросс-модального контроля. На MME-бенчмарке MAGUS показал результат, превосходящий современные аналоги, в том числе модель GPT-4o. Эти результаты подтверждают высокую точность понимания и генерации в различных модальных областях, а также скорость работы и эффективность, что делает фреймворк привлекательным для практического применения.
## Значимость
MAGUS может применяться в самых различных сферах, включая медиа, образование, коммерческие приложения и искусственный интеллект. Он демонстрирует практические преимущества, такие как простота интеграции, модульность и производительность. Это может привести к развитию новых мультимодальных приложений, которые требуют универсальной модели понимания и генерации. Будущие исследования будут сконцентрированы на улучшении методов генерации и расширении функциональных возможностей фреймворка.
## Выводы
MAGUS представляет собой мощный фреймворк для универсального понимания и генерации мультимодальных данных. Он продемонстрировал высокую эффективность на различных задачах и модальностях, показав преимущества перед современными подходами. Дальнейшие исследования будут направлены на улучшение гибкости и масштабируемости, а также на из
Abstract
Real-world multimodal applications often require any-to-any capabilities,
enabling both understanding and generation across modalities including text,
image, audio, and video. However, integrating the strengths of autoregressive
language models (LLMs) for reasoning and diffusion models for high-fidelity
generation remains challenging. Existing approaches rely on rigid pipelines or
tightly coupled architectures, limiting flexibility and scalability. We propose
MAGUS (Multi-Agent Guided Unified Multimodal System), a modular framework that
unifies multimodal understanding and generation via two decoupled phases:
Cognition and Deliberation. MAGUS enables symbolic multi-agent collaboration
within a shared textual workspace. In the Cognition phase, three
role-conditioned multimodal LLM agents - Perceiver, Planner, and Reflector -
engage in collaborative dialogue to perform structured understanding and
planning. The Deliberation phase incorporates a Growth-Aware Search mechanism
that orchestrates LLM-based reasoning and diffusion-based generation in a
mutually reinforcing manner. MAGUS supports plug-and-play extensibility,
scalable any-to-any modality conversion, and semantic alignment - all without
the need for joint training. Experiments across multiple benchmarks, including
image, video, and audio generation, as well as cross-modal instruction
following, demonstrate that MAGUS outperforms strong baselines and
state-of-the-art systems. Notably, on the MME benchmark, MAGUS surpasses the
powerful closed-source model GPT-4o.
Ссылки и действия
Дополнительные ресурсы: