MASt3R-Fusion: Integrating Feed-Forward Visual Model with IMU, GNSS for High-Functionality SLAM

## Контекст Визуальная SLAM (Simultaneous Localization and Mapping) является ключевым методом в проектировании роботов, транспортных систем с автономным управлением и расширенной реальности (XR). Однако классические системы визуальной SLAM часто сталкиваются с проблемами, такими как неэффективность в низкотекстурных средах, амбигуитуды масштаба и ухудшение работы в трудных условиях визуального восприятия. Недавние разработки, основанные на функциональных моделях глубокого обучения, показали потенциал в повышении точности регрессии точечных карт в 3D-пространстве, используя специально обученные пространственные предпосылки. Несмотря на это, многие из этих моделей лишаются потенциала применения многомодульной информационной функциональности, которая широко обоснована в классических подходах SLAM. ## Метод MASt3R-Fusion представляет собой инновационный подход к визуальной SLAM, который сочетает в себе функциональные модели глубокого обучения с многомодульным сенсорным вводом. Основной компонент — глубокая точечная регрессия, интегрируемая с инерциальными входами и GNSS-данными. Для эффективной информационной фускионации вводится новый метод Sim(3)-based visual alignment constraints, который работает в гессианской форме. Факторная графовая архитектура разработана таким образом, чтобы поддерживать оптимизацию в реальном времени с помощью вспомогательного слайдинг-окна, а также глобальную оптимизацию с агрессивными зонациями луков. Это позволяет добиться реального времени для позиционирования, величинных оценок и консистентных структурных карт. ## Результаты На основе известных бенчмарков и самостоятельно собранных данных, мы проверили эффективность MASt3R-Fusion. Замеры показали существенное улучшение точности и надежности в сравнении с традиционными визуально-сенсорными SLAM-системами. Мы также демонстрируем, что наша программа может эффективно работать в трудных условиях визуального восприятия, таких как низкотекстурные среды и разные масштабные амбигуитеты. ## Значимость MASt3R-Fusion может применяться в различных областях, включая робототехнику, самоуправляемые транспортные системы и XR. Он обеспечивает значительные преимущества, такие как улучшенная точность, эффективность в низкотекстурных средах и глобальная консистентность карт. Его потенциал включает в себя улучшение производительности в сложных средах и открытие новых возможностей в приложениях, требующих высокого качества SLAM. ## Выводы MASt3R-Fusion устанавливает новый стандарт для визуальных SLAM-систем, сочетая выгоды глубокого обучения с