Multi-Robot Task Planning for Multi-Object Retrieval Tasks with Distributed On-Site Knowledge via Large Language Models
2509.12838v1
cs.RO, cs.AI, cs.MA
2025-09-18
Авторы:
Kento Murata, Shoichi Hasegawa, Tomochika Ishikawa, Yoshinobu Hagiwara, Akira Taniguchi, Lotfi El Hafi, Tadahiro Taniguchi
Резюме на русском
## Контекст
В повседневной жизни часто возникают ситуации, требующие выполнения множества задач, например, "Найдите яблоко и банан" или "Подготовитесь к походу". Эти задачи включают поиск нескольких объектов и разбор контекстно зависимых команд. Однако многие существующие системы не могут эффективно разбивать такие задачи на подзадачи и назначать их разным роботам, особенно когда роботы обладают разным местным знанием. Этот вопрос является ключевым для развития робототехники и автоматизации. Наша мотивация заключается в создании системы, которая может легко разбивать задачи на подзадачи и назначать их разным роботам, используя их местные знания и нетерминированные природные языковые команды.
## Метод
Мы предлагаем распределенную систему планирования задач для многообъектных задач с использованием распределенных знаний на месте, построенную на базе больших языковых моделей (LLM). Метод работает следующим образом: 1) Он разбирает естественные языковые команды; 2) Инференирует потребности в объектах; 3) Разбивает задачи на подзадачи; 4) Назначает подзадачи разным роботам. Мы также разработали новую стратегию для гибкого обучения с парой образцов, которая позволяет роботам использовать знания о пространстве, наученные в определенной области, для точного выполнения задач.
## Результаты
Мы провести эксперименты с целью оценки нашей системы. Мы использовали данные из реальных ситуаций и симуляций. Наши результаты показывают, что наша система выполняла задачи с примерно 94% успешностью при присваивании подзадач роботам, что значительно превосходит производительность систем случайного распределения (56%) и систем, основанных на здравом смысле (52%). Мы также провели квалитативные оценки с помощью двух мобильных роботов, которые подтвердили возможность нашей системы выполнять задачи, включая неожиданные, такие как "Подготовьтесь к походу".
## Значимость
Наша работа может применяться в различных областях, таких как управление роботами в сложных средах, услуги доставки, помощь в домашних условиях и многое другое. Она предоставляет несколько преимуществ, включая увеличение эффективности и точности выполнения задач. Мы считаем, что наш подход может оказаться важным для развития робототехники и интеллектуальных систем.
## Выводы
Мы представили новую систему планирования задач для многообъектных задач с использованием распределенных знаний и гибкого обучения с парой образцов. Наши эксперименты показали высокую эффективность этой системы. Мы намерены продолжать исследовать возможности роботов в раз
Abstract
It is crucial to efficiently execute instructions such as "Find an apple and
a banana" or "Get ready for a field trip," which require searching for multiple
objects or understanding context-dependent commands. This study addresses the
challenging problem of determining which robot should be assigned to which part
of a task when each robot possesses different situational on-site
knowledge-specifically, spatial concepts learned from the area designated to it
by the user. We propose a task planning framework that leverages large language
models (LLMs) and spatial concepts to decompose natural language instructions
into subtasks and allocate them to multiple robots. We designed a novel
few-shot prompting strategy that enables LLMs to infer required objects from
ambiguous commands and decompose them into appropriate subtasks. In our
experiments, the proposed method achieved 47/50 successful assignments,
outperforming random (28/50) and commonsense-based assignment (26/50).
Furthermore, we conducted qualitative evaluations using two actual mobile
manipulators. The results demonstrated that our framework could handle
instructions, including those involving ad hoc categories such as "Get ready
for a field trip," by successfully performing task decomposition, assignment,
sequential planning, and execution.
Ссылки и действия
Дополнительные ресурсы: