Perception-oriented Bidirectional Attention Network for Image Super-resolution Quality Assessment
2509.06442v1
cs.CV, eess.IV
2025-09-10
Авторы:
Yixiao Li, Xiaoyuan Yang, Guanghui Yue, Jun Fu, Qiuping Jiang, Xu Jia, Paul L. Rosin, Hantao Liu, Wei Zhou
Резюме на русском
#### Контекст
Суперрезолюционные (SR) алгоритмы широко используются для улучшения качества изображений путем увеличения разрешения. Однако существующие метрики full-reference (FR) для имитирования и оценки качества SR-изображений имеют ограничения, так как они часто не учитывают визуальную перцепцию пользователя. Мотивирует этот исследований необходимость развития более точных моделей SR-качества оценки (IQA), которые были бы более соответствующими гуманному визуальному восприятию.
#### Метод
Мы предлагаем Perception-oriented Bidirectional Attention Network (PBAN) для решения проблемы SR-IQA. Модель состоит из трех модулей:
1. **Image Encoder**: Этот модуль вводит входные изображения и извлекает признаки.
2. **Perception-oriented Bidirectional Attention (PBA)**: Основываясь на характеристиках зрительной системы человека, PBA модуль использует Bidirectional Attention для улучшения внимания к деформациям, чтобы соответствовать генерации и оценке SR-изображений.
3. **Quality Prediction Module**: Этот модуль объединяет все качество-ориентированные признаки для регрессии рейтингов качества.
Для дополнительного повышения точности, мы предлагаем Deformable Convolution и Sub-information Excitation Convolution, чтобы лучше сосредоточить внимание на подпиксельных и подканальных деталях.
#### Результаты
Мы проверили PBAN на многих стандартных датасетах SR-IQA, таких как TID2008, TID2013 и LIVE, сравнив оценки с традиционными метриками FR-IQA (например, PSNR, SSIM). Результаты показали, что PBAN превосходит состояние технологии по оценке SR-качества, показывая более высокую корреляцию с показателями гуманной оценки качества.
#### Значимость
Предложенная модель имеет широкие возможности в применении для видео, реалистичных имиджей и имиджей в реальном времени. Ее можно использовать в SR-оценке для адаптивных систем, таких как 5G, AR/VR, и редактирование изображений. Благодаря ее уникальному подходу к выделению визуальной деформации и внимания, PBAN может улучшить качество SR-алгоритмов и стать новый стандарт для FR-IQA.
#### Выводы
PBAN демонстрирует эффективность в решении проблем качества оценки SR-изображений. Мы планируем дальше расширить модель для видео-SR-IQA и внедрить ее в комплексные системы автоматической оценки качества изображений.
Abstract
Many super-resolution (SR) algorithms have been proposed to increase image
resolution. However, full-reference (FR) image quality assessment (IQA) metrics
for comparing and evaluating different SR algorithms are limited. In this work,
we propose the Perception-oriented Bidirectional Attention Network (PBAN) for
image SR FR-IQA, which is composed of three modules: an image encoder module, a
perception-oriented bidirectional attention (PBA) module, and a quality
prediction module. First, we encode the input images for feature
representations. Inspired by the characteristics of the human visual system, we
then construct the perception-oriented PBA module. Specifically, different from
existing attention-based SR IQA methods, we conceive a Bidirectional Attention
to bidirectionally construct visual attention to distortion, which is
consistent with the generation and evaluation processes of SR images. To
further guide the quality assessment towards the perception of distorted
information, we propose Grouped Multi-scale Deformable Convolution, enabling
the proposed method to adaptively perceive distortion. Moreover, we design
Sub-information Excitation Convolution to direct visual perception to both
sub-pixel and sub-channel attention. Finally, the quality prediction module is
exploited to integrate quality-aware features and regress quality scores.
Extensive experiments demonstrate that our proposed PBAN outperforms
state-of-the-art quality assessment methods.
Ссылки и действия
Дополнительные ресурсы: