CloudBreaker: Breaking the Cloud Covers of Sentinel-2 Images using Multi-Stage Trained Conditional Flow Matching on Sentinel-1
2508.03608v1
cs.CV, eess.IV
2025-08-09
Авторы:
Saleh Sakib Ahmed, Sara Nowreen, M. Sohel Rahman
Резюме на русском
**Резюме**
Ограничения в спутниковом сегменте дистанционного зондирования, включая поглощение облачными покровами и ограничения во время ночи, существенно снижают доступность и качество спутниковых данных. Радостной новостью для широкого круга пользователей данных стало предложение использовать данные радиолокационного аппарата Sentinel-1 для восстановления сложных мультиспектральных сигналов, включая RGB-изображения, NDVI и NDWI. Авторы предлагают CloudBreaker — модель, основанную на оригинальном подходе для обучения с помощью специальных технологий латентных потоков. На практике CloudBreaker демонстрирует высокую реалистичность и точность восстановления данных, впервые интегрируя косинусную дифференцированную схему подбора скорости обучения. Наиболее значимым является не только реальность восстановленных RGB-изображений, но и высокие показатели SSIM для NDWI и NDVI. Эта модель открывает новые возможности для решения проблем с отсутствием данных во время ночи или при облачном покрове, будучи подтвержденной высокими показателями качества FID и SSIM.
Abstract
Cloud cover and nighttime conditions remain significant limitations in
satellite-based remote sensing, often restricting the availability and
usability of multi-spectral imagery. In contrast, Sentinel-1 radar images are
unaffected by cloud cover and can provide consistent data regardless of weather
or lighting conditions. To address the challenges of limited satellite imagery,
we propose CloudBreaker, a novel framework that generates high-quality
multi-spectral Sentinel-2 signals from Sentinel-1 data. This includes the
reconstruction of optical (RGB) images as well as critical vegetation and water
indices such as NDVI and NDWI. We employed a novel multi-stage training
approach based on conditional latent flow matching and, to the best of our
knowledge, are the first to integrate cosine scheduling with flow matching.
CloudBreaker demonstrates strong performance, achieving a Frechet Inception
Distance (FID) score of 0.7432, indicating high fidelity and realism in the
generated optical imagery. The model also achieved Structural Similarity Index
Measure (SSIM) of 0.6156 for NDWI and 0.6874 for NDVI, indicating a high degree
of structural similarity. This establishes CloudBreaker as a promising solution
for a wide range of remote sensing applications where multi-spectral data is
typically unavailable or unreliable
Ссылки и действия
Дополнительные ресурсы: