GLEAM: Learning to Match and Explain in Cross-View Geo-Localization

## Контекст Geo-localization (CVGL) — это особая область распознавания, нацеленная на выявление соответствий между изображениями, полученными с разных точек зрения одной географической точки. Тем не менее, существующие CVGL-модели обычно ограничиваются одним видом или моделью данных, и их подход к прямому визуальному сопоставлению лишён понятности. Они просто определяют соответствие двух изображений, не объясняя причины этого соответствия. Данная работа затрагивает эту проблему, предлагая GLEAM-C, модель, которая объединяет несколько видов и моделей данных, включая UAV-изображения, спутниковые снимки, карты улиц и фотографии из первого лица. GLEAM-C основывается на модели, созданной для улучшения точности и эффективности обучения. Для расширения возможностей CVGL, авторы также предлагают GLEAM-X, которая добавляет понятность в процесс сопоставления, позволяя многомодальным моделям визуального рассуждения объяснять свои решения. ## Метод GLEAM-C и GLEAM-X основываются на модели, построенной на базе многомодальных моделей визуального рассуждения. Они используют многомодальную архитектуру, включающую детекторы объектов, многомодальные концептные слои и многомодальные модели языка, чтобы сопоставить входные данные из разных моделей. GLEAM-C рассчитана на оптимизацию процесса обучения, с помощью новых технических решений. GLEAM-X использует модели языка для генерации ответов на вопросы о соответствии изображений. Для проверки моделей, создана билингвистическая бенчмарк-коллекция, используя GPT-4o и Doubao-1.5-Thinking-Vision-Pro для создания данных для обучения и тестирования. Данные были проанализированы и откорректированы ручными редакциями, чтобы обеспечить возможность систематической оценки. ## Результаты В ходе экспериментов GLEAM-C продемонстрировала высокую точность сопоставления в разных моделях данных, сопоставимая с оптимальными моделями CVGL. GLEAM-X показала существенное улучшение в интерпретируемости сопоставления, определяя причины соответствия двух изображений. Это включает в себя визуальный анализ, основанный на языковых моделях, которые объясняют, почему две картинки соответствуют друг другу. Это улучшает понимание работы модели, делает ее более понятной и систематично тестируемой. ## Значимость Результаты моделей могут быть применены в различных сферах, включая географическое локализационное моделирование, мониторинг среды, безопасность и навигацию. Улучшение точности сопоставления и понятность решений делают GLEAM-C и GLEAM-X ключевыми инструментами в этих областях. Возможным последствием могут