VIMD: Monocular Visual-Inertial Motion and Depth Estimation

## Контекст Развитие 3D-визуальных сенсоров позволяет создавать более точные и эффективные представления о трехмерной среде, необходимым для продвижения искусственного зрения в области робототехники и виртуальной, расширенной и увеличенной реальности (XR). Однако возникают сложности в достижении точности и эффективности при оценке глубины, что требует развития новых методов. Настоящая работа посвящена розработке модели, которая оптимально объединяет в себе подходы мониторинга мобильности и оценки глубины для получения результатов с высокой точностью. ## Метод Модель VIMD (Monocular Visual-Inertial Motion and Depth Estimation) основывается на нейросетевой архитектуре, которая использует концепцию MSCKF (Multi-State Constraint Kalman Filter). Алгоритм построен на использовании многомерной информации из видеопотока и инерционных датчиков, чтобы рефинить перпексивную масштабированность кадров. Метод работает в восьми этапах: сбор видеоданных, обработка инерционных сенсоров, инициализация модели, оценка глубины, итеративное исправление масштаба, обновление модели и вычисление параметров. Эта модель может интегрироваться с различными нейросетевыми структурами для оценки глубины. ## Результаты Использовались два тренировочных набора данных: TartanAir и VOID. Эксперименты показали, что VIMD достигает высокой точности и прочности даже при оценке глубины с очень малой плотностью точек (10-20 точек на кадр). Модель показала значительную улучшенную стабильность в автономных сценах и обнаружила способность нулевого шага для адаптации к новым условиям (AR Table dataset). ## Значимость Разработанная модель VIMD может применяться в робототехнике, XR и виртуальной реальности для визуальной оценки глубины и позиционирования. Она обеспечивает более точную и ресурсосберегающую систему, которая может быть применена в реальном времени. Благодаря своей модульной структуре и высокой прочности, VIMD подходит для различных сценариев, включая сценарии с ресурсом-ограниченными устройствами. ## Выводы Выводы подтверждают высокую эффективность VIMD в точной и стабильной оценке глубины, даже при минимальных данных. Это открывает путь для применения VIMD в реальном времени в сложных и многослойных средах. Будущие исследования будут сфокусированы на повышении модели путем интеграции дополнительных сенсоров и улучшении системы обучения.