LumiMAS: A Comprehensive Framework for Real-Time Monitoring and Enhanced Observability in Multi-Agent Systems

2508.12412v1 cs.CR, cs.AI 2025-08-19
Авторы:

Ron Solomon, Yarin Yerushalmi Levi, Lior Vaknin, Eran Aizikovich, Amit Baras, Etai Ohana, Amit Giloni, Shamik Bose, Chiara Picardi, Yuval Elovici, Asaf Shabtai

Резюме на русском

## Контекст Одним из основных направлений развития интеллектуальных систем является развитие многоагентных систем (MAS), которые используются для решения сложных задач в различных областях, таких как Интернет вещей, цифровые двойники, роботизированные системы и ИИ. Однако, внедрение больших языковых моделей в MAS повышает сложность мониторинга и диагностики системных неполадок. Эти проблемы влекут за собой риск задержек, неточностей и ошибок в решениях, что может привести к серьезным последствиям. Этот факт подчеркивает необходимость развития систем мониторинга и диагностики MAS, которые могут обеспечить более глубокую и точную оценку их состояния в реальном времени. ## Метод LumiMAS представляет собой новый подход к мониторингу и диагностике MAS, основанный на трех ключевых компонентах: мониторинга и журналинга, аномалий выявления и их объяснения. Мониторинг и журнлинг лежат в основе системы и обеспечивают подробный лог действий каждого агента в MAS, что позволяет проследить за их взаимодействием. Для обнаружения аномалий в реальном времени используется мощный метод анализа, который отслеживает изменения в поведении системы. Наконец, слой объяснения аномалий выявляет их причины, используя технологии классификации и анализа причин, чтобы предоставлять понятные ответы на вопросы, связанные с этими неполадками. ## Результаты Работа по LumiMAS проводилась с использованием семи различных MAS-приложений, реализованных на двух популярных платформах MAS. Эти приложения были разработаны для оценки различных сценариев неполадок, включая ошибки в выводах моделей текста. Оценка системы показала, что LumiMAS эффективно обнаруживает и классифицирует системные неполадки, а также выполняет анализ причинных связей. Например, она успешно обнаружила сбои, связанные с ошибками в выводах текстовых моделей, и предоставила подробные отчеты о причинах этих ошибок. ## Значимость LumiMAS может быть применен в различных областях, где требуется надежный мониторинг и диагностика MAS, таких как цифровые двойники, роботизированные системы, Интернет вещей и ИИ. Особый принципиальный аспект этой работы заключается в её универсальности и подходимости для различных типов MAS. Эта система позволяет обеспечить более надежный и эффективный операционный режим, снижая риски производственных задержек и потерь. Будущие исследования будут сконцентрированы на увеличении точности диагностики, улучшении эффективности и расширении функциональных возможностей LumiMAS. ## Выводы LumiMAS является первым полномасштабным фреймворком, который объединяет глубокий мониторинг,

Abstract

The incorporation of large language models in multi-agent systems (MASs) has the potential to significantly improve our ability to autonomously solve complex problems. However, such systems introduce unique challenges in monitoring, interpreting, and detecting system failures. Most existing MAS observability frameworks focus on analyzing each individual agent separately, overlooking failures associated with the entire MAS. To bridge this gap, we propose LumiMAS, a novel MAS observability framework that incorporates advanced analytics and monitoring techniques. The proposed framework consists of three key components: a monitoring and logging layer, anomaly detection layer, and anomaly explanation layer. LumiMAS's first layer monitors MAS executions, creating detailed logs of the agents' activity. These logs serve as input to the anomaly detection layer, which detects anomalies across the MAS workflow in real time. Then, the anomaly explanation layer performs classification and root cause analysis (RCA) of the detected anomalies. LumiMAS was evaluated on seven different MAS applications, implemented using two popular MAS platforms, and a diverse set of possible failures. The applications include two novel failure-tailored applications that illustrate the effects of a hallucination or bias on the MAS. The evaluation results demonstrate LumiMAS's effectiveness in failure detection, classification, and RCA.

Ссылки и действия