Extending Foundational Monocular Depth Estimators to Fisheye Cameras with Calibration Tokens

## Контекст Монокулярные глубинные оценщики (Monocular Depth Estimators, FMDEs) — одна из ключевых технологий в области глубинной оценки, обладающих высокой точностью при использовании кадров в перспективной камеры. Однако, при переходе к камерам с фишей, эти методы чувствительны к ковариатному сдвигу, вызванному изменениями калибровочных параметров (на примере внутренних и дисторсионных параметров). Это приводит к неточным глубинным оценкам, что ограничивает применение FMDEs в сценариях, требующих использования фишевых камер. Наша работа направлена на обеспечение универсальности FMDEs для фишевых камер без необходимости их переучивания или оптимизации. ## Метод Мы предлагаем метод, основанный на использовании **Calibration Tokens** — легковесных механизмов, которые регулируют входные данные для FMDEs, чтобы достичь алигнмента между латентными пространствами фишевых и перспективных кадров. Эти токены позволяют избежать неполадок, связанных с перекалибровкой или проекцией на каноническую систему координат, что часто приводит к потерям или артефактам. Мы используем publicly available large-scale perspective image datasets для дообучения FMDEs на фишевых кадрах, пересчитав их угловые преобразования. Наш метод является self-supervised и не требует использования фишевых данных для обучения. ## Результаты Мы проверили нашу модель на различных FMDEs и многочисленных изображениях, включая внутренние и внешние сцены. Наши результаты показывают, что подход с Calibration Tokens позволяет достичь значительных улучшений в точности глубинных оценок по сравнению с состоянием искусства (state-of-the-art). Это достигается за счет того, что мы используем только один набор токенов для оба категорий — перспективных и фишевых кадров. Это универсален достигнутый благодаря обобщающему потенциалу нашего подхода. ## Значимость Наше решение открывает путь к обобщению FMDEs для использования с фишевыми камерами в различных приложениях, таких как VR, AR, и системы автоматизированного вождения. Несмотря на то, что метод не требует специальных фишевых данных, он позволяет достичь высокой точности и повторяемости. Это может существенно сократить затраты на проектирование и развертывание систем, которым требуется обработка изображений в фишевой камере. ## Выводы Мы представили метод расширения FMDEs для работы с фишевыми камерами с помощью Calibration Tokens. Этот метод эффективен, self-supervised и не требует переучивания модели. Мы показали, что он позволяет повысить точность глубинных оценок и обеспечивает широкое применение в различных сценариях. Будущие работы будут направлены на улучшение метода для поддержки более сложных сцен и типов камер. Наш код доступен по а