ER-LoRA: Effective-Rank Guided Adaptation for Weather-Generalized Depth Estimation
2509.00665v1
cs.CV, cs.RO
2025-09-05
Авторы:
Weilong Yan, Xin Zhang, Robby T. Tan
Резюме на русском
#### Контекст
Монокулярная оценка глубины в условиях пассивных местных радиоизмерений (ПМРИ) представляет собой важный направление в геофизике, что позволяет получить информацию о подземных объектах без необходимости нанесения специальных маркеров. Однако существуют затруднения, связанные с недостатком качественных данных для обучения моделей, а также с ограниченным пониманием особенностей работы моделей в сложных условиях, таких как плохое освещение, ветер или наличие снега. Настоящее исследование фокусируется на развитии методов, позволяющих эффективно адаптировать модели к условиям ПМРИ с минимальным потреблением ресурсов и сохранением качества получаемой информации.
#### Метод
Предлагаемая методология основывается на **Effective-Rank Guided Adaptation (ER-LoRA)**, которая использует базу знаний визуальных фундаментальных моделей (VFMs) для монокулярной оценки глубины. В центре методики лежит **Selecting-Tuning-Maintaining (STM)**, стратегия, которая разделяет веса VFMs на две категории: **entropy-rank** и **stable-rank**. В процессе **tuning** используется **adaptive selection** сингулярных направлений (по entropy-rank) для инициализации, в сочетании с **full-tuned weight**. В **maintaining stage** применяется **principal direction regularization** на основе stable-rank, чтобы сохранить общеупотребительные характеристики модели. Это решение обеспечивает баланс между гибкостью адаптации и сохранением полученных знаний.
#### Результаты
Результаты экспериментов проводились на четырёх реальных наборах данных, представляющих различные условия ПМРИ. Метод **STM** демонстрировал существенное превосходство перед текущими методами **PEFT** и **full fine-tuning**. Наблюдения показали, что **STM** не только показал выигрыш в точности, но и превзошёл методы, обученные на синтетических данных с адекватным domain gap. Благодаря **STM**, модель показала свое возможность оценивать глубину в реальных условиях, более эффективно используя предобученную модель.
#### Значимость
Предлагаемый подход открывает новые возможности для монокулярной оценки глубины в условиях ПМРИ. Он может быть применен в геофизике для контроля проектов геологического моделирования, а также в сегментации областей для определения границ подземных объектов. **STM** показал высокую эффективность в решении задач с низким количеством данных и высоким domain gap, что делает его привлекательным для реальных задач.
#### Выводы
Результаты вычислительных экспериментов подтверждают эффективность **STM** в области монокулярной оценки глубины в условиях ПМРИ. Он доказал выигрыш в точности и ресурсозатратности по сравнению с существующими методами. В будущих исследованиях планируется расширить применение STM к другим видам геофизи
Abstract
Monocular depth estimation under adverse weather conditions (e.g.\ rain, fog,
snow, and nighttime) remains highly challenging due to the lack of reliable
ground truth and the difficulty of learning from unlabeled real-world data.
Existing methods often rely on synthetic adverse data with pseudo-labels, which
suffer from domain gaps, or employ self-supervised learning, which violates
photometric assumptions in adverse scenarios. In this work, we propose to
achieve weather-generalized depth estimation by Parameter-Efficient Fine-Tuning
(PEFT) of Vision Foundation Models (VFMs), using only a small amount of
high-visibility (normal) data. While PEFT has shown strong performance in
semantic tasks such as segmentation, it remains underexplored for geometry --
centric tasks like depth estimation -- especially in terms of balancing
effective adaptation with the preservation of pretrained knowledge. To this
end, we introduce the Selecting-Tuning-Maintaining (STM) strategy, which
structurally decomposes the pretrained weights of VFMs based on two kinds of
effective ranks (entropy-rank and stable-rank). In the tuning phase, we
adaptively select the proper rank number as well as the task-aware singular
directions for initialization, based on the entropy-rank and full-tuned weight;
while in the maintaining stage, we enforce a principal direction regularization
based on the stable-rank. This design guarantees flexible task adaptation while
preserving the strong generalization capability of the pretrained VFM.
Extensive experiments on four real-world benchmarks across diverse weather
conditions demonstrate that STM not only outperforms existing PEFT methods and
full fine-tuning but also surpasses methods trained with adverse synthetic
data, and even the depth foundation model
Ссылки и действия
Дополнительные ресурсы: