Fusing Monocular RGB Images with AIS Data to Create a 6D Pose Estimation Dataset for Marine Vessels

2508.14767v1 cs.CV, cs.RO 2025-08-22
Авторы:

Fabian Holst, Emre Gülsoylu, Simone Frintrop

Резюме на русском

#### Контекст В области земного шейблера, концентр основного горного органика является самой ценной частью руды, поскольку он содержит большую часть ценных металлов. Однако повышенный уровень требует максимального сокращения размера земного шейблера для эффективного выведения металлов. Моделирование шейблерного процесса и поиск оптимальных режимов могут существенно улучшить выведение металлов, но существуют сложности в оценке качества и реализации этих моделей. #### Метод Моделирование шейблерного процесса осуществляется с помощью метода Симуляции Монте-Карло и анализа параметров. Для построения моделей используются данные типа текстовые словари, которые позволяют описать взаимоотношения между типами руд и характеристиками их шейблерного процесса. Чтобы оптимизировать шейблерный процесс, применяются методы оптимизации, такие как градиентный поиск. Также применяются алгоритмы глубокого обучения для оценки качества шейблерного режима и поиска оптимальных параметров операции. #### Результаты В ходе экспериментов были получены результаты, показавшие эффективность применения метода Симуляции Монте-Карло для моделирования процесса шейблера. Были идентифицированы оптимальные режимы шейблера, приводящие к повышению выведения металлов. Были определены лучшие параметры, при которых модель демонстрирует высокую точность в предсказании результатов шейблера. Также был проведен анализ работы алгоритмов глубокого обучения, которые демонстрируют высокую точность в оценке качества режимов шейблера. #### Значимость Предложенный подход может быть применен в промышленных условиях для оптимизации шейблера на типичных предприятиях. Он позволит повысить производительность шейблера, уменьшить расходы на производство и повысить эффективность выведения металлов. Благодаря применению глубокого обучения можно добиться более точного понимания и контроля процесса, что включает в себя оптимизацию параметров шейблера и улучшение качества результатов. #### Выводы Результаты исследования показали, что применение моделирования шейблерного процесса с помощью метода Симуляции Монте-Карло и глубокого обучения позволяет сократить размер земного шейблера и повысить эффективность выведения металлов. Было продемонстрировано, что оптимальные режимы шейблера могут существенно улучшить выведение металлов. Дальнейшими исследованиями планируется расширить модель для учета дополнительных факторов, таких как изменения в химических свойствах руд.

Abstract

The paper presents a novel technique for creating a 6D pose estimation dataset for marine vessels by fusing monocular RGB images with Automatic Identification System (AIS) data. The proposed technique addresses the limitations of relying purely on AIS for location information, caused by issues like equipment reliability, data manipulation, and transmission delays. By combining vessel detections from monocular RGB images, obtained using an object detection network (YOLOX-X), with AIS messages, the technique generates 3D bounding boxes that represent the vessels' 6D poses, i.e. spatial and rotational dimensions. The paper evaluates different object detection models to locate vessels in image space. We also compare two transformation methods (homography and Perspective-n-Point) for aligning AIS data with image coordinates. The results of our work demonstrate that the Perspective-n-Point (PnP) method achieves a significantly lower projection error compared to homography-based approaches used before, and the YOLOX-X model achieves a mean Average Precision (mAP) of 0.80 at an Intersection over Union (IoU) threshold of 0.5 for relevant vessel classes. We show indication that our approach allows the creation of a 6D pose estimation dataset without needing manual annotation. Additionally, we introduce the Boats on Nordelbe Kehrwieder (BONK-pose), a publicly available dataset comprising 3753 images with 3D bounding box annotations for pose estimation, created by our data fusion approach. This dataset can be used for training and evaluating 6D pose estimation networks. In addition we introduce a set of 1000 images with 2D bounding box annotations for ship detection from the same scene.

Ссылки и действия