Grasp-MPC: Closed-Loop Visual Grasping via Value-Guided Model Predictive Control
2509.06201v1
cs.RO, cs.AI, cs.LG
2025-09-10
Авторы:
Jun Yamada, Adithyavairavan Murali, Ajay Mandlekar, Clemens Eppner, Ingmar Posner, Balakumar Sundaralingam
Резюме на русском
## Контекст
Грабливание предметов в неупорядоченных средах остается значимой проблемой в области робототехники. Открытые циклы грабливания однозначно оправданы в управляемых условиях, но становятся неэффективными в мешанинах и значительно ухудшаются при изменении положения предметов в процессе грабливания. Закрытые циклы грабливания, в свою очередь, показывают лучшие результаты в соответствующих условиях, но страдают от отсутствия общей гибкости и сложности в генерализации. Исследователи предлагают **Grasp-MPC** — закрытый цикл грабливания на основе 6-ДоФ визуальных наблюдений, нацеленный на реактивное и устойчивое грабливание новых предметов в сложных условиях.
## Метод
**Grasp-MPC** основывается на использовании классического **Model Predictive Control (MPC)**, в котором используется **value function**, обученная на визуальных данных с 2 миллионов грабливаний в синтетической среде. Эти данные включают успешные и неудачные грабливания. Значение функции используется для регулирования целевого поведения робота во время грабливания. Работа гармонично с другими задачами, такими как уменьшение коллизий и выполнение гладких движений. Архитектура оснащена возможностями для обработки сложных сцен, которые требуют быстрого реагирования и высокой точности.
## Результаты
Исследователи проверили **Grasp-MPC** на двух платформах: **FetchBench** и реальном мире. На **FetchBench**, в симуляционных условиях, **Grasp-MPC** улучшил результаты грабливания до 32.6% по сравнению с текущими методами, включая **open-loop**, **diffusion policy**, **transformer policy**, и **IQL**. На реальных устройствах, в шумных условиях, улучшение составило 33.3%. Это достижение доказывает силу закрытого цикла грабливания в более разнообразных условиях, чем ранее.
## Значимость
**Grasp-MPC** может применяться в сценариях, где необходимо устойчивое грабливание в непохожих ситуациях, включая робототехнические задачи в домашних и промышленных условиях. Он предлагает высокую гибкость и реактивность, существенно улучшая точность и устойчивость по сравнению с открытыми циклами. Такой подход может стать ключевым для развития роботов, которые должны работать в новых и сложных средах.
## Выводы
**Grasp-MPC** доказывает высокую эффективность в закрытом цикле грабливания в сравнении с ранее используемыми технологиями. Он показывает, что использование значения функции на основе грабливания может стать важной составляющей устойчивого робототехнического решения вне лаборатории. Будущие исследования будут направлены на улучшение обработки ш
Abstract
Grasping of diverse objects in unstructured environments remains a
significant challenge. Open-loop grasping methods, effective in controlled
settings, struggle in cluttered environments. Grasp prediction errors and
object pose changes during grasping are the main causes of failure. In
contrast, closed-loop methods address these challenges in simplified settings
(e.g., single object on a table) on a limited set of objects, with no path to
generalization. We propose Grasp-MPC, a closed-loop 6-DoF vision-based grasping
policy designed for robust and reactive grasping of novel objects in cluttered
environments. Grasp-MPC incorporates a value function, trained on visual
observations from a large-scale synthetic dataset of 2 million grasp
trajectories that include successful and failed attempts. We deploy this
learned value function in an MPC framework in combination with other cost terms
that encourage collision avoidance and smooth execution. We evaluate Grasp-MPC
on FetchBench and real-world settings across diverse environments. Grasp-MPC
improves grasp success rates by up to 32.6% in simulation and 33.3% in
real-world noisy conditions, outperforming open-loop, diffusion policy,
transformer policy, and IQL approaches. Videos and more at
http://grasp-mpc.github.io.
Ссылки и действия
Дополнительные ресурсы: