Multi-Robot Task Planning for Multi-Object Retrieval Tasks with Distributed On-Site Knowledge via Large Language Models

2509.12838v1 cs.RO, cs.AI, cs.MA 2025-09-18
Авторы:

Kento Murata, Shoichi Hasegawa, Tomochika Ishikawa, Yoshinobu Hagiwara, Akira Taniguchi, Lotfi El Hafi, Tadahiro Taniguchi

Резюме на русском

## Контекст В повседневной жизни часто возникают ситуации, требующие выполнения множества задач, например, "Найдите яблоко и банан" или "Подготовитесь к походу". Эти задачи включают поиск нескольких объектов и разбор контекстно зависимых команд. Однако многие существующие системы не могут эффективно разбивать такие задачи на подзадачи и назначать их разным роботам, особенно когда роботы обладают разным местным знанием. Этот вопрос является ключевым для развития робототехники и автоматизации. Наша мотивация заключается в создании системы, которая может легко разбивать задачи на подзадачи и назначать их разным роботам, используя их местные знания и нетерминированные природные языковые команды. ## Метод Мы предлагаем распределенную систему планирования задач для многообъектных задач с использованием распределенных знаний на месте, построенную на базе больших языковых моделей (LLM). Метод работает следующим образом: 1) Он разбирает естественные языковые команды; 2) Инференирует потребности в объектах; 3) Разбивает задачи на подзадачи; 4) Назначает подзадачи разным роботам. Мы также разработали новую стратегию для гибкого обучения с парой образцов, которая позволяет роботам использовать знания о пространстве, наученные в определенной области, для точного выполнения задач. ## Результаты Мы провести эксперименты с целью оценки нашей системы. Мы использовали данные из реальных ситуаций и симуляций. Наши результаты показывают, что наша система выполняла задачи с примерно 94% успешностью при присваивании подзадач роботам, что значительно превосходит производительность систем случайного распределения (56%) и систем, основанных на здравом смысле (52%). Мы также провели квалитативные оценки с помощью двух мобильных роботов, которые подтвердили возможность нашей системы выполнять задачи, включая неожиданные, такие как "Подготовьтесь к походу". ## Значимость Наша работа может применяться в различных областях, таких как управление роботами в сложных средах, услуги доставки, помощь в домашних условиях и многое другое. Она предоставляет несколько преимуществ, включая увеличение эффективности и точности выполнения задач. Мы считаем, что наш подход может оказаться важным для развития робототехники и интеллектуальных систем. ## Выводы Мы представили новую систему планирования задач для многообъектных задач с использованием распределенных знаний и гибкого обучения с парой образцов. Наши эксперименты показали высокую эффективность этой системы. Мы намерены продолжать исследовать возможности роботов в раз

Abstract

It is crucial to efficiently execute instructions such as "Find an apple and a banana" or "Get ready for a field trip," which require searching for multiple objects or understanding context-dependent commands. This study addresses the challenging problem of determining which robot should be assigned to which part of a task when each robot possesses different situational on-site knowledge-specifically, spatial concepts learned from the area designated to it by the user. We propose a task planning framework that leverages large language models (LLMs) and spatial concepts to decompose natural language instructions into subtasks and allocate them to multiple robots. We designed a novel few-shot prompting strategy that enables LLMs to infer required objects from ambiguous commands and decompose them into appropriate subtasks. In our experiments, the proposed method achieved 47/50 successful assignments, outperforming random (28/50) and commonsense-based assignment (26/50). Furthermore, we conducted qualitative evaluations using two actual mobile manipulators. The results demonstrated that our framework could handle instructions, including those involving ad hoc categories such as "Get ready for a field trip," by successfully performing task decomposition, assignment, sequential planning, and execution.

Ссылки и действия