AU-IQA: A Benchmark Dataset for Perceptual Quality Assessment of AI-Enhanced User-Generated Content

## Контекст В последние годы AI-based image enhancement techniques становятся все более важной частью современных визуальных технологий. Они позволяют значительно улучшить качество пользовательских генерируемых контентов (UGC). Однако, существующие модели для оценки качества не всегда эффективно работают с AI-enhanced UGC, который объединяет черты как UGC, так и AI-generated content (AIGC). Это создает серьезную проблему для развития эффективных методов perceptual quality assessment (PQA). Существующие модели, ориентированные на UGC или AIGC, часто не могут правильно оценивать характеристики AI-UGC, что сказывается на качестве пользовательского опыта и развитии новых алгоритмов. ## Метод AU-IQA — это современный benchmark dataset, состоящий из 4,800 AI-UGC изображений, полученных путем применения трех основных AI-enhancement techniques: super-resolution, low-light enhancement, и denoising. Эти типы были выбраны за счет их широкого применения в различных визуальных приложениях. Для построения датасета был создан процесс визуализации, который моделирует реальные условия применения этих технологий. Архитектура dataset позволяет эффективно проводить эксперименты с различными PQA-моделями, включая traditional IQA methods и large multimodal models. ## Результаты В ходе экспериментов были использованы 4,800 изображений с различными уровнями качества, полученными через PQA-модели. Результаты показали, что существующие модели часто не могут правильно оценивать качество AI-UGC. Например, применение traditional IQA моделей часто приводит к высокой ошибке в оценке характеристик AI-UGC. В то же время, large multimodal models показали лучшие результаты, но также имеют ограничения в предсказании тонких деталей и природных характеристик AI-UGC. ## Значимость AU-IQA демонстрирует возможность улучшения perceptual quality assessment для AI-UGC. Эта работа имеет важное значение для развития PQA-моделей и AI-enhancement technologies. Она может быть применена в различных областях, таких как computer vision, multimedia, и пользовательские визуальные приложения. Развитие эффективных PQA-моделей позволит улучшить качество пользовательских исследований, повысить качество работы AI-enhancement techniques, и, в итоге, способствовать развитию технологий визуального содержимого. ## Выводы Разработка AU-IQA демонстрирует важность создания специализированных датасетов для оценки качества AI-enhanced UGC. На основе полученных результатов, будущие исследования будут сфокусированы на создании еще более точных и высокоэффективных PQA-моделей, которые будут правильно оценивать характеристики AI-UGC. Это может привести к значительным улучшениям в области AI-enhancement technologies и повышению качества пользовательского опыта.