From Satellite to Street: A Hybrid Framework Integrating Stable Diffusion and PanoGAN for Consistent Cross-View Synthesis

## Контекст Стрит-виев изображения стали неотъемлемой частью коллекции геоспациальных данных и анализа городских ландшафтов. Они обеспечивают возможность извлечь ценные сведения, улучшающие принятие решений в различных областях. Однако синтез изображений стрит-виев из спутниковых снимков характеризуется значительными проблемами, включая различия в аппаратуре, различные углы обзора и погрешности в масштабировании. Настоящая работа предлагает развитие гибридного подхода, который использует методы текстово-визуального моделирования с глубинным обучением и кондоциональные условные модели генетического атаки, чтобы обеспечить консистентность при синтезе изображений с разных плоскостей (спутникового и стрит-виев). ## Метод Предлагаемый подход объединяет Stable Diffusion и PanoGAN в билинейную архитектуру с двойными ветвями. Stable Diffusion выступает в качестве основного компонента, который обеспечивает генерацию стилизованных стрит-виев, а PanoGAN используется для создания панорамных перспективных изображений. Для повышения консистентности между двумя моделями вводится стратегия слияния, которая складывает сильные стороны каждой модели. Это позволяет улучшить геометрическую точность и качество визуального отображения. Выборка данных для обучения и тестирования включает в себя Cross-View USA (CVUSA), одной из самых трудных выборок для задачи синтеза между разными плоскостями. ## Результаты Исследования показали, что предложенный подход существенно превосходит уникальные модели Stable Diffusion на различных метриках, в том числе точность, цветовое соответствие и геометрическое согласование. Он также показал сравнительную эффективность с лучшими методами на основе GAN, достигая реалистичных и консистентных изображений стрит-виев. Эксперименты показали, что модель сохраняет тонкие детали, такие как полосы, дорожные узоры, атмосферные элементы, включая облака. ## Значимость Предложенный подход может быть использован в различных областях, включая геоспациальный анализ, планирование городов и виртуальную реальность. Он предлагает выгоды в том, что может генерировать качественное и подробное изображение, которое может быть использовано для повышения точности и надежности в задачах, основанных на стрит-виев изображениях. Это может повлиять на развитие технологий, таких как виртуальные туры, моделирование городских ландшафтов и улучшение анализа данных. ## Выводы Предложенный гибридный подход, комбинирующий Stable Diffusion и PanoGAN, достигает высокой точности и качества в синтезе между разными плоскостями. Он успешно устраняет проблемы ма