Breaking the Statistical Similarity Trap in Extreme Convection Detection
2509.09195v1
cs.LG, cs.CV, 68T07, 86A10, I.2.6; J.2
2025-09-13
Авторы:
Md Tanveer Hossain Munim
Резюме на русском
## Контекст
Оценка глубоких нейронных моделей для прогнозирования метеорологических процессов чрезвычайной гроздности сталкивается с "Статистической Трапой Сходства" (Statistical Similarity Trap). Этот эффект возникает из-за чрезмерного скоррелированного прогноза с реальными данными, где модели, даже имеющие высокую статистическую точность, не замечают редких, но высокоэффективных событий. Эта проблема критична для прогнозов развития гроздности, так как опасные события часто вызываются редкими воздушными эффектами, которые модели не всегда успешно предсказывают. Этот мотив привел к развитию новых подходов для более точных и оперативных прогнозов.
## Метод
Методология основывается на разработке нового фреймворка, названного DART (Dual Architecture for Regression Tasks). Основой DART является двухдескодерная архитектура, которая разделяет прогнозы на две части: общую статистическую структуру и редкие, высокоэффективные события. Для улучшения точности используется физиологически обоснованное переобучение (physically-motivated oversampling) и task-specific loss functions, которые способствуют предсказанию редких событий. Архитектура также включает в себя быструю обработку данных и независимость от определенной метеорологической модели, что обеспечивает ее широкое применение в различных условиях.
## Результаты
В экспериментах DART был протестирован на нескольких датасетах, включающих реальные метеорологические данные и имитационные модели. На определенном наборе данных DART показал значительные улучшения в детектировании редких событий: например, в сравнении с базовыми моделями, которые показывали высокое статистическое совпадение, но не выявляли редких событий, DART улучшил CSI (Critical Success Index) до значения 0.273 с биасом 2.52, в то время как базовые модели имели биас до 6.72. Эти результаты подтверждают необходимость DART для точного выявления редких, но важных событий.
## Значимость
Фреймворк DART может применяться в различных метеорологических задачах, в том числе в анализе течений воздуха, повышении точности прогноза сильных гроз и других чрезвычайных метеорологических событий. Он выделяет новые возможности для более точного и оперативного прогнозирования, что может способствовать улучшению принятия решений в области погодной подготовки. Данный подход также имеет потенциал для оптимизации работы систем автоматических прогнозов и мониторинга в реальном времени.
## Выводы
Результаты показывают, что DART значительно повышает точность прогноза редких событий в метеорологии. Несмотря на сложность задачи, DART доказал свою эффективность и гибкость в различных сценариях. Будущие работы будут сконцентрирова
Abstract
Current evaluation metrics for deep learning weather models create a
"Statistical Similarity Trap", rewarding blurry predictions while missing rare,
high-impact events. We provide quantitative evidence of this trap, showing
sophisticated baselines achieve 97.9% correlation yet 0.00 CSI for dangerous
convection detection. We introduce DART (Dual Architecture for Regression
Tasks), a framework addressing the challenge of transforming coarse atmospheric
forecasts into high-resolution satellite brightness temperature fields
optimized for extreme convection detection (below 220 K). DART employs
dual-decoder architecture with explicit background/extreme decomposition,
physically motivated oversampling, and task-specific loss functions. We present
four key findings: (1) empirical validation of the Statistical Similarity Trap
across multiple sophisticated baselines; (2) the "IVT Paradox", removing
Integrated Water Vapor Transport, widely regarded as essential for atmospheric
river analysis, improves extreme convection detection by 270%; (3)
architectural necessity demonstrated through operational flexibility (DART
achieves CSI = 0.273 with bias = 2.52 vs. 6.72 for baselines at equivalent
CSI), and (4) real-world validation with the August 2023 Chittagong flooding
disaster as a case study. To our knowledge, this is the first work to
systematically address this hybrid conversion-segmentation-downscaling task,
with no direct prior benchmarks identified in existing literature. Our
validation against diverse statistical and deep learning baselines sufficiently
demonstrates DART's specialized design. The framework enables precise
operational calibration through beta-tuning, trains in under 10 minutes on
standard hardware, and integrates seamlessly with existing meteorological
workflows, demonstrating a pathway toward trustworthy AI for extreme weather
preparedness.