MDIQA: Unified Image Quality Assessment for Multi-dimensional Evaluation and Restoration

2508.16887v1 cs.CV, eess.IV 2025-08-27
Авторы:

Shunyu Yao, Ming Liu, Zhilu Zhang, Zhaolin Wan, Zhilong Ji, Jinfeng Bai, Wangmeng Zuo

Резюме на русском

#### Контекст Качество изображения (IQA) широко используется в различных областях, таких как графический дизайн, видеосъемка и медицинская имажирование. Однако, существующие методы IQA часто ориентированы на оценку общего качества изображения, не учитывая то, что люди оценивают качество сначала по отдельным перцептивным аспектам, а затем делают общую оценку. Это ограничение подрывает точность и универсальность существующих моделей. Наша мотивация заключается в разработке модели, которая бы учитывала многомерность человеческого визуального восприятия и позволила бы гибко применяться в различных задачах, таких как оценка качества и исправление изображений. #### Метод Мы предлагаем MDIQA — фреймворк многомерной оценки качества изображений, который оценивает качество по нескольким техническим и эстетическим аспектам. Каждому аспекту присвоен отдельный модельный блок, который изучает конкретный аспект качества. Например, одна модель может оценивать яркость, а другая — скругленность краёв. Итоговое качество складывается из отдельных оценок, чтобы создать более точное и комплексное представление. Мы также разработали адаптивную методику для обучения модели к различным задачам восстановления изображений, которая позволяет гибко регулировать веса каждого аспекта в зависимости от задачи. #### Результаты Мы провели широкий набор экспериментов на стандартных наборах данных, включая TID2013, LIVE, and CSIQ. Модель MDIQA показала значительное улучшение по сравнению с традиционными методами IQA, такими как PSNR и SSIM. Мы также проверили способность MDIQA адаптироваться к различным задачам восстановления изображений, получив более точные и удовлетворяющие пользовательским предпочтениям результаты. Наши результаты показывают, что MDIQA лучше подходит для оценки и восстановления изображений в многообразных сценариях. #### Значимость Многомерный подход MDIQA может быть применен в различных областях, таких как графический дизайн, изображение в медицине и цифровой реставрации. Он позволяет лучше учесть предпочтения пользователей и предоставляет более точные результаты. Это может повысить качество изображений в различных профессиональных приложениях, улучшить интерфейсы пользователей и создать более удобные среды для профессионалов. #### Выводы Мы представили MDIQA — модель, которая значительно улучшает точность оценки качества изображений за счет учета многомерности человеческого восприятия. Этот подход демонстрирует высокую гибкость и эффективность при применении к различным задачам восстановления изображений. Будущие исследования будут уделять внимание улучшению модели и е

Abstract

Recent advancements in image quality assessment (IQA), driven by sophisticated deep neural network designs, have significantly improved the ability to approach human perceptions. However, most existing methods are obsessed with fitting the overall score, neglecting the fact that humans typically evaluate image quality from different dimensions before arriving at an overall quality assessment. To overcome this problem, we propose a multi-dimensional image quality assessment (MDIQA) framework. Specifically, we model image quality across various perceptual dimensions, including five technical and four aesthetic dimensions, to capture the multifaceted nature of human visual perception within distinct branches. Each branch of our MDIQA is initially trained under the guidance of a separate dimension, and the respective features are then amalgamated to generate the final IQA score. Additionally, when the MDIQA model is ready, we can deploy it for a flexible training of image restoration (IR) models, enabling the restoration results to better align with varying user preferences through the adjustment of perceptual dimension weights. Extensive experiments demonstrate that our MDIQA achieves superior performance and can be effectively and flexibly applied to image restoration tasks. The code is available: https://github.com/YaoShunyu19/MDIQA.

Ссылки и действия