WeatherPrompt: Multi-modality Representation Learning for All-Weather Drone Visual Geo-Localization

#### Контекст Визуальная геолокализация дронов является критически важной задачей, особенно в условиях перерыжения погоды, таких как дождь и туман. Несмотря на прогресс в этой области, существующие методы сталкиваются с проблемами, связанными с нестабильностью в условиях погоды. Одна из основных проблем заключается в зависимости от ограниченных категорий погодных условий, что снижает общую гибкость и жесткость моделей. Другая проблема заключается в неэффективности разделения сцен и величин погодных условий. Недостаточное отделение этих компонентов приводит к ухудшению точности и обобщаемости. Наша мотивация состоит в том, чтобы разработать метод, который мог бы лучше справляться с этими проблемами и обеспечивать устойчивость в различных погодных условиях. #### Метод Мы предлагаем WeatherPrompt, многомодальный подход, основанный на создании weather-invariant representation в рамках двух ключевых компонентов. Во-первых, мы используем Training-free Weather Reasoning, который использует высокотехнологичные модели с мультимодальным аппаратом для генерирования мультивременных текстовых описаний. Это позволяет сделать модель более устойчивой к неизвестным или сложным погодным условиям. Во-вторых, мы предлагаем Dynamic Gating Mechanism, который позволяет адаптивно регулировать вклад каждой модальности (визуальная и текстовая) в дискретной сети. Этот механизм позволяет лучше разделять scene-weather features. Модель также оптимизируется с помощью cross-modal objectives, таких как image-text contrastive learning и image-text matching, чтобы сблизить в пространстве представлений сцены с разными погодными условиями. #### Результаты Мы проводили многочисленные эксперименты для оценки WeatherPrompt по сравнению с состоянием техники. Наши эксперименты проводились на различных датасетах, включая условия темноты, тумана и снега. Мы заметили, что наш метод достиг высокой точности, при этом повышая Recall@1 на +13.37% при темноте и +18.69% при тумане и снегу. Эти результаты показали, что WeatherPrompt способен лучше справляться с внезапными и сложными условиями, чем существующие методы. #### Значимость WeatherPrompt может быть применен в различных областях, включая автоматизированные системы для доставки товаров, поиск и спасение, а также системы мониторинга и контроля. Этот подход предлагает значительные преимущества, такие как увеличение точности и устойчивость под внезапными условиями. Мы полагаем, что он может продвинуть технологический прогресс в области визуальных геолокаций в реальном времени, повысив уровень безопасности и эффективности в скрытых или труднодоступных условиях. #### Выводы WeatherPrompt представляет собой перспективный подход к визуальной геолока