Mars Traversability Prediction: A Multi-modal Self-supervised Approach for Costmap Generation

## Контекст Планетарные миссии требуют системы навигации, которая может эффективно оценивать траверсабильность поверхности. Однако, получение надёжных данных для обучения моделей в таких условиях ограничено, что приводит к риску ошибок в оценке траверсабильности. Эта проблема может привести к ухудшению надежности ровера и увеличению рисков для миссий. Наша мотивация заключается в разработке продвинутого метода, который бы способствовал точной и надежной оценке траверсабильности в сложных планетарных условиях. ## Метод Мы предлагаем многомодальный самообучающийся подход для построения траверсабильности. Наша модель объединяет данные камеры и LiDAR, порождая bird's-eye-view (BEV) terrain costmap. Обучение происходит с использованием метки траверсабильности, сгенерированной с помощью данных IMU. Мы используем DINOv3 в качестве интенсивного изображения и FiLM для фузирования данных. Оптимизация производится с помощью комбинации Huber и smoothness loss. Эта архитектура позволяет модели предсказать траверсабильность с высокой точностью и устойчивостью к шумам в данных. ## Результаты Мы проводили обширные эксперименты с различными условиями данных и модификациями набора данных. Наши результаты показали, что модель очень сильно зависит от геометрических признаков, а не семантических. Мы обнаружили, что даже при существенных изменениях в данных (например, удаление цвета или добавление шума), изменения MAE и MSE остаются незначительными. Это указывает на высокую устойчивость модели к шуму и сильное влияние геометрических данных. ## Значимость Наш подход может быть применён в планетарных миссиях для более точного определения траверсабильности. Он обеспечивает высокую устойчивость, что позволяет роверам эффективно перемещаться по труднопроходимым местностям. Это также открывает возможности для улучшения систем навигации и уменьшения рисков для миссий. ## Выводы Мы представили продвинутый подход к предсказанию траверсабильности, используя многомодальный самообучающийся метод. Основные достижения включают: (1) разработку высокоточной симуляционной среды; (2) создание самообучающейся модели, основанной на IMU; (3) разработку модели BEV. Будущие исследования будут сфокусированы на улучшении генерализации модели и расширении набора данных для различных условий.