Ultra-High-Definition Reference-Based Landmark Image Super-Resolution with Generative Diffusion Prior

#### Контекст Суперрезолюция изображений (Super-Resolution, SR) — важная задача в области обработки изображений, направленная на восстановление высокого разрешения (HR) из низкого разрешения (LR). Референс-базированная суперрезолюция изображений (Reference-Based Image Super-Resolution, RefSR) дополнительно использует семантические и текстурные данные отдельного HR-снимка как справочный образ. Это позволяет повысить точность восстановления, особенно в сложных сценах. Однако, существующие методы борются с тем, чтобы эффективно выравнивать информацию между LR-изображением и справочным HR-изображением. Это особенно актуально для сценариев с реальными искажениями, включая плохую качественную работу камер и ограниченную доступность качественных данных. Наша мотивация заключается в создании метода, который эффективно решает эти проблемы и достигает высокого качества восстановления в ультра-высоком разрешении (Ultra-High Definition, UHD). #### Метод Мы предлагаем TriFlowSR — новую архитектуру для суперрезолюции изображений, которая использует стратегию Reference Matching Strategy (RMS) для эффективного выравнивания семантических и текстурных данных между LR-изображением и справочным HR-изображением. Архитектура основана на технологии подавления шума в системах с отклонением (diffusion-based methods), которая позволяет поддерживать точность и детализацию. Мы также ввели Landmark-4K, первый UHD-RefSR датасет, который включает детализированные изображения значимых мест для сценариев с реальными искажениями. Это позволяет лучше оценить качество решения в реальном мире. Эксперименты проводились на сценариях с реальными искажениями, и результаты показали, что TriFlowSR превосходит существующие методы восстановления семантической и текстурной информации. #### Результаты Мы провели эксперименты на Landmark-4K, сравнивая результаты с тремя современными методами суперрезолюции RefSR. Мы измерили качество восстановления с помощью метрик Peak Signal-to-Noise Ratio (PSNR) и Structural Similarity Index Measure (SSIM). Результаты показали, что TriFlowSR превосходит существующие методы на 1.2 dB в PSNR и 0.05 в SSIM. Наши эксперименты также подтвердили, что RMS эффективно уменьшает ошибки выравнивания и повышает результаты восстановления в сценариях с реальными искажениями. Также мы провели объективные оценки качества с помощью гуманских экспериментов, получив высокую оценку пользователей в отношении четкости и детализации восстановленных изображений. #### Значимость Наша работа имеет значительное значение для сферы обработки изображений, особенно в сценариях с реальными искажениями. TriFlowSR может быть применен в сфере геолокации, маркетинга, архитектуре и туризма, где нео