No Need for Real 3D: Fusing 2D Vision with Pseudo 3D Representations for Robotic Manipulation Learning

#### Контекст В последние годы видение-на-действие (vision-based robotic manipulation) стало одной из самых активных областей исследований в робототехнике. Оно открывает путь к улучшению интерактивности и управляемости роботов, позволяя им выполнять сложные задачи в реальном времени. Однако существуют значительные проблемы, связанные с наиболее распространенными подходами. Методы, основанные на 2D изображениях, хотя широко используются, часто страдают от ограниченной способности понимать 3D-пространство. Методы, основанные на 3D-представлениях (например, 3D-точечных массивов), значительно улучшают понимание пространства, но требуют высоких затрат на сбор и обработку 3D-данных, что существенно ограничивает их применение в реальном мире. Таким образом, необходимо разработать подход, который мог бы объединить преимущества визуального восприятия в 2D и 3D-информацию, однако без стоимостных затрат, связанных с последним. #### Метод Мы предлагаем фреймворк с названием NoReal3D, который объединяет в себе мощь визуального восприятия и синтетических 3D-представлений. На сердце этого фреймворка лежит 3DStructureFormer — модуль, преобразующий монокулярные изображения в многомерные псевдо-точечные массивы. Эти псевдо-точечные массивы сохраняют ключевые геометрические и топологические свойства точечных массивов, позволяя их использовать для более точного понимания пространства. Мы также разработали специальный псевдо-точечный массив-энкодер, который позволяет сохранять эти свойства во время обучения. Для обеспечения эффективной интеграции 2D и 3D-данных, мы исследовали различные стратегии фьюзинга фичей, чтобы улучшить общую точность и устойчивость модели. Наш подход позволяет избежать сложностей, связанных с сбором реальных 3D-данных, что делает его отличным вариантом для реального применения. #### Результаты Мы провести подробные эксперименты на различных задачах робототехники, включая п selecting , object placement, и object rearrangement. Для этого мы использовали широкий набор данных, включающий как синтетические, так и реальные 2D-изображения, а также синтетические 3D-точечные массивы. Наши результаты показали, что NoReal3D достигает той же, или даже вышей, эффективности, чем методы, основанные на 3D-точечных массивах, при этом не требуя сбора реальных данных 3D. Это указывает на высокую степень общей обучаемости и робастности нашего подхода. Также мы провели анализ различных стратегий фьюзинга, чтобы продемонстрировать, как они влияют на поведение системы. #### Значимость Наш подход имеет зна