VROOM - Visual Reconstruction over Onboard Multiview

#### Контекст Формула 1 — одна из самых интенсивных и требовательных спортивных дисциплин, где каждая деталь играет ключевую роль. Одной из задач в рамках данного типа автоспорта является восстановление трехмерных моделей трасс на основе данных, полученных с бортовых камер. Такой подход может быть применен для повышения точности систем навигации, моделирования виртуальных трасс, а также для анализа работы гонщиков. Однако, восстановление трехмерных моделей в стохастических и быстро меняющихся условиях, таких как на большой скорости и с жесткими изменениями вида, представляется сложной. Такие быстротечные условия часто приводят к высокому уровню шума в данных, что сильно затрудняет использование традиционных методов восстановления. В настоящей работе представляется VROOM — система визуального восстановления трехмерных моделей на основе бортовых камер. Основной целью является разработка метода, который может использоваться в реальных условиях, не требуя дополнительных машинных ресурсов или специальных камер. #### Метод VROOM использует видеопоток с бортовых камер, полученный во время реальных гонок. Для восстановления трехмерных моделей используется последовательность методов: 1. **Preprocessing**: Включает маскирование, временное сегментирование и скалирование разрешения. Эти методы позволяют приспособиться к высокой скорости движения и резким переходам между кадрами. 2. **DROID-SLAM**: Метод визуальной ориентации и определения местоположения, использующий детальный анализ кадров для построения пространственных моделей. 3. **AnyCam**: Метод, позволяющий определить движение камеры в потоке видео. 4. **Monst3r**: Метод сбора данных о трехмерной структуре вокруг камеры. Последовательность этих методов позволяет обрабатывать изображения в живой среде, когда условия не позволяют применять простые алгоритмы. #### Результаты В результате экспериментов, проведенных на данных от Monaco Grand Prix 2023, VROOM получил некоторые трехмерные модели трассы и автомобиля. Несмотря на высокую скорость движения и жесткие изменения вида, модели показали достаточную точность в сохранении основных черт трассы и траекторий. Эти результаты подтверждают, что трехмерное восстановление в реальных условиях гонок можно осуществить с помощью видеопотока бортовых камер. #### Значимость Результаты VROOM открывают новые возможности для трехмерного моделирования в реальных условиях, включая автоматическое моделирование трасс, навигацию и анализ данных в спортивных соревнованиях. Благодаря использованию доступных ресурсов, таких как бортовые камеры, эта система может быть применена