Language-Driven Hierarchical Task Structures as Explicit World Models for Multi-Agent Learning
2509.04731v1
cs.AI, cs.CL, cs.LG, cs.MA, cs.RO, 68T05, 90C40, 91A26, 68T42, 93E35, I.2.11; I.2.6; I.2.8; I.2.9; I.2.7
2025-09-09
Авторы:
Brennen Hill
Резюме на русском
## Контекст
Область исследования агентных мультиагентных систем в области искусственного интеллекта является ключевым направлением развития моделей машинного обучения. Одной из основных проблем в этой области является создание моделей, которые могут эффективно совместно работать в сложных задачах, требующих хорошего понимания структуры окружающего мира. Этот вопрос наиболее актуален в таких задачах, как робототушки или робототуризм, где агенты должны выполнять коллективные задачи, но при этом имеют ограниченные возможности по изучению окружающего мира. Одной из причин этого является недостаток эффективных методов построения и использования высших уровней структуры, чтобы ориентироваться в высокомерных и нерегулярных пространствах применимости. Это ограничивает возможности агентов до реакции на мгновенные события, а не достижения долгосрочных целей. Мотивация для построения исследования заключается в том, чтобы развить методы, позволяющие агентам оперировать с более высоким уровнем структуры, чтобы они могли более эффективно решать задачи, требующие долгосрочного планирования и сложного совместного взаимодействия.
## Метод
Для решения этой проблемы предлагается использовать систему, которая строит используя языковые модели, систему "областей" и "признаков", которые взаимодействуют с многоагентной средой. Эта система построит объектно-ориентированную иерархию, где основные задачи делятся на меньшие, более управляемые подзадачи. Для этого используется технология высокого уровня, которая может динамически изменять контекст и структуру задач на основе языковых команд. Например, если агенту требуется выполнить задачу, связанную с созданием структуры в системе, модель языка может сформировать иерархию задач, разбив их на подзадачи, которые могут быть выполнены в зависимости от контекста и целей. Эта структура позволит агентам научиться выполнять более сложные задачи, такие как динамическое планирование и выполнение коллективных задач в совместных задачах.
## Результаты
На основе экспериментов, проведенных на основе 2024-го года, было проанализировано многоагентное обучение в средах, где использовались технологии марковских решений и многоагентного машинного обучения. Был оценен эффект использования языковых моделей для построения иерархической структуры задач. Результаты показали, что использование языковых моделей для построения иерархической структуры задач дает значительные выгоды по сравнению с более традиционными методами. Система позволяла агентам эффективней ориентироваться в пространстве
Abstract
The convergence of Language models, Agent models, and World models represents
a critical frontier for artificial intelligence. While recent progress has
focused on scaling Language and Agent models, the development of sophisticated,
explicit World Models remains a key bottleneck, particularly for complex,
long-horizon multi-agent tasks. In domains such as robotic soccer, agents
trained via standard reinforcement learning in high-fidelity but
structurally-flat simulators often fail due to intractable exploration spaces
and sparse rewards. This position paper argues that the next frontier in
developing capable agents lies in creating environments that possess an
explicit, hierarchical World Model. We contend that this is best achieved
through hierarchical scaffolding, where complex goals are decomposed into
structured, manageable subgoals. Drawing evidence from a systematic review of
2024 research in multi-agent soccer, we identify a clear and decisive trend
towards integrating symbolic and hierarchical methods with multi-agent
reinforcement learning (MARL). These approaches implicitly or explicitly
construct a task-based world model to guide agent learning. We then propose a
paradigm shift: leveraging Large Language Models to dynamically generate this
hierarchical scaffold, effectively using language to structure the World Model
on the fly. This language-driven world model provides an intrinsic curriculum,
dense and meaningful learning signals, and a framework for compositional
learning, enabling Agent Models to acquire sophisticated, strategic behaviors
with far greater sample efficiency. By building environments with explicit,
language-configurable task layers, we can bridge the gap between low-level
reactive behaviors and high-level strategic team play, creating a powerful and
generalizable framework for training the next generation of intelligent agents.