Adaptive AI Agent Placement and Migration in Edge Intelligence Systems
2508.03345v1
cs.AI
2025-08-06
Авторы:
Xingdan Wang, Jiayi He, Zhiqing Tang, Jianxiong Guo, Jiong Lou, Liping Qian, Tian Wang, Weijia Jia
Резюме на русском
**Резюме:**
Распространение технологий типа ChatGPT и Claude порождает потребность в AI-агентах, способных обрабатывать задачи в реальном времени. Однако миграция данных интенсивных и многомодальных рабочих нагрузок на облачные центры обработки данных ведет к значительной задержке. Для решения этой проблемы предлагается развертывание AI-агентов на краевых устройствах, что повышает эффективность и снижает задержки. Тем не менее, краевые среды ограничены ресурсами и их гетерогенностью. Для обеспечения качества обслуживания (QoS) для мобильных пользователей необходима миграция агентов, которая становится сложной из-за сложности координации LLMs, планирования задач, памяти и внешних инструментов.
В статье представлена первая систематическая методика для развертывания и управления AI-агентами на основе LLMs в динамических краевых средах. Авторы предложили новый адаптивный фреймворк для размещения и миграции агентов, основанный на алгоритмах муравьиной колонии и оптимизации LLMs. Этот фреймворк оптимизирует использование ресурсов и QoS, а также позволяет выполнять легковесную миграцию агентов путем переноса только необходимого состояния. Решение, реализованное на распределенной системе с использованием AgentScope и проверенное на глобально распределенных краевых серверах, значительно сокращает задержки развертывания и стоимость миграции.
Abstract
The rise of LLMs such as ChatGPT and Claude fuels the need for AI agents
capable of real-time task handling. However, migrating data-intensive,
multi-modal edge workloads to cloud data centers, traditionally used for agent
deployment, introduces significant latency. Deploying AI agents at the edge
improves efficiency and reduces latency. However, edge environments present
challenges due to limited and heterogeneous resources. Maintaining QoS for
mobile users necessitates agent migration, which is complicated by the
complexity of AI agents coordinating LLMs, task planning, memory, and external
tools. This paper presents the first systematic deployment and management
solution for LLM-based AI agents in dynamic edge environments. We propose a
novel adaptive framework for AI agent placement and migration in edge
intelligence systems. Our approach models resource constraints and
latency/cost, leveraging ant colony algorithms and LLM-based optimization for
efficient decision-making. It autonomously places agents to optimize resource
utilization and QoS and enables lightweight agent migration by transferring
only essential state. Implemented on a distributed system using AgentScope and
validated across globally distributed edge servers, our solution significantly
reduces deployment latency and migration costs.
Ссылки и действия
Дополнительные ресурсы: