Manipulation as in Simulation: Enabling Accurate Geometry Perception in Robots

## Контекст Робототехника, особенно манипуляции, широко используется в сферах, где требуется автоматизация задач сложного характера. Однако, нынешние роботы, оперирующие в основном в 2D-пространстве, сталкиваются с ограниченной точностью и недостаточной универсальностью в решении задач. Одной из ключевых проблем является то, что роботы, в отличие от человека, не в состоянии эффективно использовать геометрическую информацию в 3D-пространстве. Хотя такая информация доступна с помощью датчиков глубины, существуют технические и системные ограничения, которые затрудняют использование этих данных в реальном мире. Эти ограничения становятся причиной снижения надёжности и универсальности роботов в решении задач манипуляций. ## Метод В нашей работе мы предлагаем **Camera Depth Models (CDMs)**, которые используются в качестве простого плагина для существующих датчиков глубины. Эти модели принимают на вход RGB-изображение и сигналы глубины, а на выходе дают данные, корректированные от шумов и точными в метрической габаритной системе. Чтобы обучить эти модели, мы разрабатываем моделирование симуляции, которое эмулирует шум и прочие особенности работы датчиков глубины. Эта методика позволяет CDMs эффективно корректировать данные в реальном времени, выполняя детальный анализ геометрии объектов. ## Результаты Мы провели исследования, используя различные датчики глубины и наборы данных. Наши результаты показали, что CDMs позволяют осуществлять точное определение геометрии в реальном мире, близкое к точности симуляционных моделей. Мы провели эксперименты на двух сложных задачах манипуляций с объектами разных типов (артикулированные, отражающие и тонкие). Результаты показали, что политики, обученные на симуляционных данных с CDMs, могут безусловно переходить в реальный мир, сохраняя свою эффективность и точность. Это продемонстрировано на двух разных сценариях использования. ## Значимость Наши результаты имеют большое значение в сферах робототехники, виртуальной реальности и перспективных технологий. Мы показали, что использование 3D-информации может дать существенный прирост в универсальности и решении задач. CDMs могут быть широко применены для устранения проблем проникновения в мир реальных задач с помощью симуляционных моделей. Этот подход может развиваться в дальнейшем для улучшения роботов в сферах, где требуется высокая точность и общеизмерительная габаритная позиция. ## Выводы Наши исследования демонстрируют, что CDMs эффективно избавляются от шумов в данных глубины и позволяют ос