Exploring Multimodal AI Reasoning for Meteorological Forecasting from Skew-T Diagrams

## Контекст Задача предсказания погодных условий, основанная на анализе атмосферных ступеней на Skew-T диаграммах, является ключевой для операционной метеорологии. Однако возникают сложности в автоматизации этого процесса, так как решение этой задачи требует высокой точности и способности интерпретировать визуальные признаки. Несмотря на развитие технологий в области визуального распознавания и текстового понимания, применение многомодальных моделей к метеорологическому анализу остается редким. Этот факт подчеркивает необходимость развития методов, которые могут эффективно использовать мультимодальные данные для улучшения точности и доступности прогнозов погоды. ## Метод Для решения этой задачи предлагается использовать компактную текстовую модель с последовательностью обучения, которая обучается распознавать ключевые атмосферные признаки на Skew-T диаграммах с помощью визуальных задач вопросов-ответов. Далее, модель проходит дополнительное обучение с использованием цепочки мыслей (chain-of-thought), что позволяет спрогнозировать вероятность осадков. Модель использует как входные данные текстовые сводки, так и генерируемые Skew-T диаграммы, получаемые из операционных прогнозов Национального Центра Наблюдений Погоды (NWP). Эта многомодальная архитектура обеспечивает улучшение точности прогнозов и позволяет эмулировать работу человеческих форсайтеров. ## Результаты Эксперименты проводились на наборе данных, включающем текстовые сводки и диаграммы Skew-T, а также наблюдательные данные о погоде с Автономных Метеостанций (AWS) в Южной Корее. Модель, основанная на мультимодальном подходе, показала своевременную и точную оценку вероятности осадков, приближаясь к прогнозам NWP. Анализ внимательности показал, что модель успешно фокусируется на важных метеорологических признаках на диаграммах. Аблационные исследования подтвердили важность визуального граундинга и устранения неэффективных признаков для достижения высокой точности. ## Значимость Этот подход может быть применен в различных метеорологических задачах, включая не только прогнозирование осадков, но и другие задачи, которые требуют визуального интерпретирования данных. Преимущество такого подхода заключается в его высокой точности и эффективности, так как он использует небольшие модели, но при этом эмулирует уровень профессионального метеоролога. Это может существенно снизить затраты на вычислительные ресурсы и упростить применение в реальных условиях. ## Выводы Результаты экспериментов подтверждают, что мультимодальные модели могут быть эффективно применены в задачах автома