Depth Jitter: Seeing through the Depth

2508.06227v1 cs.CV, cs.RO 2025-08-12
Авторы:

Md Sazidur Rahman, David Cabecinhas, Ricard Marxer

Резюме на русском

## Контекст В компьютерном зрении, особенно в области углубленного обучения, depth-aware augmentations играют ключевую роль в повышении точности и устойчивости моделей. Однако существующие методы часто игнорируют отдельную обработку depth-aware transformations, что приводит к узкому покрытию набора ситуаций в реальной жизни. Для оценки и моделирования глубины в изображениях существуют сложности, такие как отсутствие высококачественных данных, ненадежность данных измерительных приборов, и их разброс в разных условиях. Эта проблема значимого влияет на области, такие как автономная навигация, underwater imaging, и robotics. Мы предлагаем Depth-Jitter, новую depth-aware augmentation метод, который адаптивно регулирует depth offsetting, чтобы улучшить общую устойчивость моделей в различных условиях глубины. ## Метод Depth-Jitter работает на основе adaptive depth offsetting, применяя depth variance thresholds для генерации synthetic depth perturbations. Мы используем depth variance thresholds для определения границы глубины, позволяя генерировать depth perturbations, которые сохраняют структурную целостность и реалистичность. Алгоритм оптимизируется для добавления глубины в изображения без вызывания представления нежелательных геометрических растров. Мы используем процесс, который сохраняет depth-aware контекст, чтобы модели могли быть более устойчивы в реальных дептивных условиях. ## Результаты Мы проводили эксперименты на двух benchmark datasets, FathomNet и UTDAC2020, чтобы оценить эффективность Depth-Jitter. Наши результаты показывают, что Depth-Jitter улучшает модельную стабильность и общую generalization в сравнении с традиционными augmentation методами, такими как ColorJitter. Измерения показали, что Depth-Jitter не всегда превосходит ColorJitter в absolute performance, но он постоянно повышает модельную stability, которая ключева для depth-sensitive applications. Мы также произвели подробный анализ различных learning rates, encoders, и loss functions, чтобы понять, как Depth-Jitter влияет на различные аспекты обучения. ## Значимость Depth-Jitter может применяться в областях, таких как autonomous navigation, underwater imaging, и robotics, где depth information является критическим для accuracy. Этот метод улучшает model generalization, что позволяет моделям быть более устойчивыми в различных depth conditions. Our approach предоставляет новую горизонтальную линию развития для depth-aware augmentations, призванную наполнять лакуны в существующих depth augmentation techniques. Эти положительные результаты могут помочь в развитии более стабильных и точных моделей в depth-sensitive областях. ## Выводы Depth-Jitter представляет собой прорыв в depth-aware augmentation, предоставляя более устойчивые модели в depth-sensitive областях. Мы планируем расширить исследования, чтобы проверить эффективность наших методов на более широком наборе данных и применений. Мы также планируем изучить возможности для adaptive depth thresholding, чтобы сделать Depth-Jitter еще более flexible и эффективным.

Abstract

Depth information is essential in computer vision, particularly in underwater imaging, robotics, and autonomous navigation. However, conventional augmentation techniques overlook depth aware transformations, limiting model robustness in real world depth variations. In this paper, we introduce Depth-Jitter, a novel depth-based augmentation technique that simulates natural depth variations to improve generalization. Our approach applies adaptive depth offsetting, guided by depth variance thresholds, to generate synthetic depth perturbations while preserving structural integrity. We evaluate Depth-Jitter on two benchmark datasets, FathomNet and UTDAC2020 demonstrating its impact on model stability under diverse depth conditions. Extensive experiments compare Depth-Jitter against traditional augmentation strategies such as ColorJitter, analyzing performance across varying learning rates, encoders, and loss functions. While Depth-Jitter does not always outperform conventional methods in absolute performance, it consistently enhances model stability and generalization in depth-sensitive environments. These findings highlight the potential of depth-aware augmentation for real-world applications and provide a foundation for further research into depth-based learning strategies. The proposed technique is publicly available to support advancements in depth-aware augmentation. The code is publicly available on \href{https://github.com/mim-team/Depth-Jitter}{github}.

Ссылки и действия