SafeBimanual: Diffusion-based Trajectory Optimization for Safe Bimanual Manipulation

#### Контекст Bimanual manipulation широко применяется в таких областях, как домстопки и производство, позволяя решать задачи, требующие точного координирования действий. Недавно развивающиеся методы основанные на подходах diffusion (распределение) позволили демонстрировать замечательные результаты в моделировании действий для бимановых манипуляций. Однако, они не учитывают физические ограничения и безопасность действий, что может привести к повреждению роботов или объектов. Это создает необходимость в разработке безопасных методов, учитывающих эти ограничения. #### Метод Мы предлагаем SafeBimanual — рамочный подход для оптимизации траекторий в бимановых манипуляциях, который может быть использован с другими предварительно обученными diffusion-based политиками. Он добавляет в алгоритм ограничения безопасности, чтобы избежать вреда роботу и объектам. Мы спроектировали разнообразные функции затрат для разных видов двойного координации, таких как избежание изломания предметов и коллизий между руками и предметами. Наше решение оптимизирует траектории с помощью метода гида в процессе распределения диффузии. Благодаря визуально-языковой модели (VLM), мы динамически строим функции затрат, учитывая спецификацию ключевых точек и отношений между ними. #### Результаты Мы проверили наш подход в 8 симуляционных задачах в RoboTwin, где наблюдали увеличение успешности до 13.7%, а также снижение небезопасных взаимодействий до 18.8% по сравнению с современными diffusion-based методами. На 4 реальных задачах результаты также были положительными, прирост успешности составил 32.5%. Эти результаты показывают высокую эффективность SafeBimanual в реальных условиях. #### Значимость Метод SafeBimanual может применяться в различных сферах, где требуется безопасная бимановая манипуляция, например, в автоматизированных производствах, робототехнике, домстопке. Он обеспечивает улучшенную безопасность, гибкость и увеличенную успешность в задачах с бимановыми манипуляциями. #### Выводы SafeBimanual достигает отличных результатов в безопасной бимановой манипуляции, улучшая успешность и безопасность действий. Мы планируем расширить исследования, внеся дополнительные усовершенствования в модели, такие как более точное учетво бимановых ограничений и расширенные сценарии применения.