AddressVLM: Cross-view Alignment Tuning for Image Address Localization using Large Vision-Language Models

#### Контекст Large Visual Language Models (LVLMs) опережают в области coarse-grained geo-localization, но сталкиваются с трудностями при решении fine-grained street-level localization. Эта задача требует точного понимания соответствий между street-view и satellite-view изображениями, чего LVLMs не в состоянии добиться самостоятельно. Это ограничение ограничивает применение LVLMs в ситуациях, требующих точного адресного расположения, таких как городские системы навигации или сервисы доставки. Таким образом, существует необходимость в модели, которая могла бы адекватно работать в этой области, используя микроскопические визуальные сигналы из street-view изображений и макроскопические сигналы из satellite-view изображений. #### Метод Мы предлагаем AddressVLM, модель, которая решает проблему street-view address localization с помощью cross-view alignment tuning. Решение включает два шага: (1) **Cross-View Alignment Tuning**, при котором используется механизм изображения grafting (пересечения изображений) для объединения микро- и макро-сигналов, и (2) **Address Localization Tuning**, нацеленный на обучение модели к адресному расположению. Механизм grafting использует спутниковые изображения в качестве высокоуровневого контекста для street-view изображений. Также предлагается автоматическая механика генерации меток, которая позволяет упростить процесс подготовки данных. Эти компоненты обеспечивают лучшую производительность в сравнении с основными LVLMs. #### Результаты Мы провели эксперименты на двух датасетах street-view VQA, построенных на основе данных street-view image address localization для Pittsburgh и San Francisco. AddressVLM показала существенный прирост в точности адресного расположения, составившую 9% и 12% выше, соответственно, в сравнении с современными LVLMs. Эти результаты подтверждают эффективность использования cross-view alignment tuning и мощности спутникового контекста. Также мы провели анализ точности для различных уровней локализации (от street до city) и показали, что AddressVLM показывает значительный выигрыш в fine-grained scenarios. #### Значимость Модель AddressVLM может применяться в различных сценариях, таких как urban navigation, last-mile delivery, и поиск street-view images на основе адреса. Ее ключевое преимущество заключается в улучшенной точности, полученной благодаря использованию макроскопического контекста и систематичному cross-view alignment tuning. Эта модель также открывает пути для дальнейших исследований в области cross-modal alignment и geo-localization. #### Выводы AddressVLM достигла значительных улучшений в street-view address localization, используя cross-view alignment tuning. Эта модель показывает высокую эффективность в локализации адресов на уровне streets, но имеет потенциал для расширения в другие области geo-localization. Будущие исследования будут сосредоточены на улучшении автоматической механики генерации меток и расширении данных для улучшения производительности на более широкой географической зоне