An LLM-powered Natural-to-Robotic Language Translation Framework with Correctness Guarantees
2508.19074v1
cs.RO, cs.AI, cs.PL
2025-08-28
Авторы:
ZhenDong Chen, ZhanShang Nie, ShiXing Wan, JunYi Li, YongTian Cheng, Shuai Zhao
Резюме на русском
## Контекст
Роботизация становится важной частью жизненного цикла производственных процессов, а также играет ключевую роль в сфере ИТ. Использование Больших Языковых Моделей (LLM) в области робототехники позволяет генерировать программы для контроля роботов, используя задачи, описанные на натуральном языке. Это позволяет включить в роботы эмбедированный интеллект. При этом существующие методы, основанные на тренировке и конструировании подсказок для LLM, не всегда обеспечивают достаточную точность в генерации программ. Неточность в исполнении роботом полученных программ может привести к серьезным ошибкам в работе и уменьшить эффективность, особенно при работе с лёгкими лёгкими моделями. Необходимо разработать методы, обеспечивающие высокую точность генерации программ и уменьшающие риск ошибок.
## Метод
Для решения проблемы точности генерации программ для контроля робота была разработана новая методология, включающая в себя следующие компоненты. Объектом исследования является новый язык программирования, называемый **Robot Skill Language (RSL)**, который абстрагирует жесткие детали контроля роботов. Была предложена методика построения **RSL-компилятора и дебаггера**, которые проверяют генерируемые программы на наличие ошибок и возвращают обратную связь для улучшения генерируемых LLM-программ. Кроме того, введена **методика обратной связи и оптимизации**, позволяющая лингвистическим моделям проводить повторные тренировки на основе результатов компиляции.
## Результаты
Исследования проводились на различных тестовых страницах и задачах, используя различные модели LLM. Метод NRTrans (Natural-to-Robotic Translation) показал лучшие результаты по сравнению с другими существующими методами. Особенно высокая эффективность этого метода была отмечена при использовании лёгких моделей LLM. Было доказано, что NRTrans обеспечивает высокую точность генерации контрольных программ, снижает риск ошибок и повышает эффективность роботов в выполнении задач.
## Значимость
Предложенный подход имеет большое потенциал в различных областях, таких как робототехника, автоматизация, встраиваемые системы, и ИТ-системы. Он обеспечивает высокую точность в генерации программ, снижает вероятность ошибок при выполнении, повышает эффективность лёгких лёгких моделей LLM. Благодаря этому, NRTrans может быть применён для более надежного и эффективного управления роботами в различных сферах, включая производство, домашние роботы и сервисные роботы.
## Выводы
Разработанная система NRTrans доказала высокую эффективность в
Abstract
The Large Language Models (LLM) are increasingly being deployed in robotics
to generate robot control programs for specific user tasks, enabling embodied
intelligence. Existing methods primarily focus on LLM training and prompt
design that utilize LLMs to generate executable programs directly from user
tasks in natural language. However, due to the inconsistency of the LLMs and
the high complexity of the tasks, such best-effort approaches often lead to
tremendous programming errors in the generated code, which significantly
undermines the effectiveness especially when the light-weight LLMs are applied.
This paper introduces a natural-robotic language translation framework that (i)
provides correctness verification for generated control programs and (ii)
enhances the performance of LLMs in program generation via feedback-based
fine-tuning for the programs. To achieve this, a Robot Skill Language (RSL) is
proposed to abstract away from the intricate details of the control programs,
bridging the natural language tasks with the underlying robot skills. Then, the
RSL compiler and debugger are constructed to verify RSL programs generated by
the LLM and provide error feedback to the LLM for refining the outputs until
being verified by the compiler. This provides correctness guarantees for the
LLM-generated programs before being offloaded to the robots for execution,
significantly enhancing the effectiveness of LLM-powered robotic applications.
Experiments demonstrate NRTrans outperforms the existing method under a range
of LLMs and tasks, and achieves a high success rate for light-weight LLMs.
Ссылки и действия
Дополнительные ресурсы: