Aleatoric Uncertainty from AI-based 6D Object Pose Predictors for Object-relative State Estimation

2509.01583v1 cs.RO, cs.CV 2025-09-05
Авторы:

Thomas Jantos, Stephan Weiss, Jan Steinbrener

Резюме на русском

## Контекст Глубокое обучение (DL) значительно повышает эффективность различных роботизированных приложений, обеспечивая мощные методы обработки сырых сенсорных данных. Например, визуально-ориентированная роботизированная система может использовать DL-предиктор 6D-позы предмета для определения относительной позы объекта относительно робота. Эти меры вводятся в систему состояния робота, чтобы управлять его действиями. Однако важность точного определения неопределенности в этих мерах, особенно в раCONTEXT контексте глубокого обучения, не может быть переоценена. Для проработки таких неопределенностей возникает так называемая алеаторная неопределенность, которая определяет случайные характеристики во входных данных. Интеграция такой неопределенности в состояние робота позволяет повысить надежность и точность в объектно-ориентированном состоянии. Эта работа предлагает расширить базовый DL-предиктор поддержки алеаторной неопределенности, при этом с минимальным накладным объемом вычислительных ресурсов. ## Метод Методология работы основывается на модификации уже существующих DL-предикторов 6D-позы объекта. Вместо того, чтобы вносить изменения в основную структуру DL-предиктора, расширение включает внедрение двух отдельных моделей сети (Multi-Layer Perceptrons), которые независимо изучают транслационную и вращательную компоненты позы. Измененная архитектура позволяет получать не только оценку позы, но и статистическую оценку неопределенности, которая является ключевой для эффективных стратегий обучения. Такое расширение может быть внедрено без необходимости переобучения существующих DL-моделей, что экономит вычислительные ресурсы и позволяет применять модель на ресурс-ограниченных устройствах. ## Результаты Эксперименты проводились на двух типах данных: синтетических и реальных. На моделированных данных была проверена возможность предсказания 6D-позы с учетом неопределенности, в то время как на реальных данных продемонстрирована эффективность интеграции полученных неопределенностей в калмановский фильтр. В результате, произведенные оценки позы методом EKF на основе этого подхода показали значительную улучшенную точность по сравнению с фиксированной моделью неопределенности. Более того, полученные результаты показали, что данный подход можно легко адаптировать к различным роботизированным системам без дополнительных изменений в самой системе. ## Значимость Данный подход может быть применен в различных сферах, особенно в области объектно-ориентированной роботизированной системы, где необходимо высокоточное определение смещения и локальных изменений позы. И

Abstract

Deep Learning (DL) has become essential in various robotics applications due to excelling at processing raw sensory data to extract task specific information from semantic objects. For example, vision-based object-relative navigation relies on a DL-based 6D object pose predictor to provide the relative pose between the object and the robot as measurements to the robot's state estimator. Accurately knowing the uncertainty inherent in such Deep Neural Network (DNN) based measurements is essential for probabilistic state estimators subsequently guiding the robot's tasks. Thus, in this letter, we show that we can extend any existing DL-based object-relative pose predictor for aleatoric uncertainty inference simply by including two multi-layer perceptrons detached from the translational and rotational part of the DL predictor. This allows for efficient training while freezing the existing pre-trained predictor. We then use the inferred 6D pose and its uncertainty as a measurement and corresponding noise covariance matrix in an extended Kalman filter (EKF). Our approach induces minimal computational overhead such that the state estimator can be deployed on edge devices while benefiting from the dynamically inferred measurement uncertainty. This increases the performance of the object-relative state estimation task compared to a fix-covariance approach. We conduct evaluations on synthetic data and real-world data to underline the benefits of aleatoric uncertainty inference for the object-relative state estimation task.

Ссылки и действия