Multi-modal Uncertainty Robust Tree Cover Segmentation For High-Resolution Remote Sensing Images

## Контекст Изучение зеленого покрова земли, включая детальное разбиение на индивидуальные деревья, является ключевым заданием в сфере географических и экологических исследований. Это важно для поддержки принятия решений в таких областях, как урбанизация, масштабирование лесов, мониторинг экосистем и экологическое оценование. Технологии семантической сегментации, объединяющие различные виды данных, такие как оптические снимки, LiDAR и SAR, достигли высокой точности. Однако, существуют серьезные затруднения, связанные с временными различиями в получении данных, которые могут привести к несоответствию между модальностями. Это приводит к неопределенности в разделении зон, особенно при работе с высокоразрешными изображениями. Наша исследовательская группа ставит себе цель сконцентрироваться на решении этой проблемы, создав метод, который не только устраняет неопределенность, но и позволяет ей работать в пользу улучшения точности. ## Метод Мы предлагаем **MURTreeFormer**, многомодальный фреймворк сегментации, который стремится устранить неопределенность и улучшить точность разделения покрова деревьев. Основная идея заключается в использовании одной модальности как основной, в то время как другие модальности будут относиться к вспомогательным. Мы используем вариационную автоэнкодерическую модель (VAE) для моделирования и работы с неопределенностью в вспомогательных модальностях. Неуверенные области обрабатываются с помощью процедуры ресемплинга, которая позволяет улучшить качество данных, используя основную модальность. Более того, в декодере внедрена модель **Gradient Magnitude Attention (GMA)**, которая направляет внимание модели на характеристики, схожие с деревьями, а также **Lightweight Refinement Head (RH)**, используемую для сохранения тонких деталей. Эта гибкая конфигурация позволяет модели лучше адаптироваться к изменениям в зеленом покрове. ## Результаты Мы провели значительные эксперименты на двух многомодальных датасетах: из Шанхая и Цюриха. В этих экспериментах использовались ряд модальностей, включая оптические снимки, LiDAR и SAR. Результаты показали, что **MURTreeFormer** значительно повышает точность сегментации в сравнении с современными методами, особенно в условиях временных расхождений между модальностями. Мы также обнаружили, что наша модель эффективно обрабатывает неопределенность, связанную с разными условиями погоды и факторами, влияющими на качество изображений. Это указывает на то, что **MURTreeFormer** может быть применено в реальных условиях, где нет возможности контролировать временные различия. ## Значимость Результаты нашего исследования им