HPSv3: Towards Wide-Spectrum Human Preference Score
2508.03789v1
cs.CV
2025-08-09
Авторы:
Yuhang Ma, Xiaoshi Wu, Keqiang Sun, Hongsheng Li
Резюме на русском
**Резюме**
В статье представлено Human Preference Score v3 (HPSv3) — усовершенствованная метрика для оценки моделей генерирующих текст-изображение. Основная проблема, рассмотренная в работе, заключается в том, что существующие метрики человеческого приоритета страдают от ограниченного объема данных, неэффективных признаков и неэффективных функций потерь. Авторы предлагают HPSv3, основывающуюся на Human Preference Dataset v3 (HPDv3) — первом широкопокрытой выборке, включающей 1.08M текстовых-изображений и 1.17M пар сравнений. Для тонкой оценки изображений разработана версия метода Chain-of-Human-Preference (CoHP), основывающаяся на нейросети с тренировкой по убедительной функции. Эксперименты показали, что HPSv3 является эффективным инструментом для подробной оценки генерирующих моделей. Результаты подтверждают, что CoHP может улучшать качество генерируемых изображений, обеспечивая универсальный подход к их оценке и улучшению.
Abstract
Evaluating text-to-image generation models requires alignment with human
perception, yet existing human-centric metrics are constrained by limited data
coverage, suboptimal feature extraction, and inefficient loss functions. To
address these challenges, we introduce Human Preference Score v3 (HPSv3). (1)
We release HPDv3, the first wide-spectrum human preference dataset integrating
1.08M text-image pairs and 1.17M annotated pairwise comparisons from
state-of-the-art generative models and low to high-quality real-world images.
(2) We introduce a VLM-based preference model trained using an
uncertainty-aware ranking loss for fine-grained ranking. Besides, we propose
Chain-of-Human-Preference (CoHP), an iterative image refinement method that
enhances quality without extra data, using HPSv3 to select the best image at
each step. Extensive experiments demonstrate that HPSv3 serves as a robust
metric for wide-spectrum image evaluation, and CoHP offers an efficient and
human-aligned approach to improve image generation quality. The code and
dataset are available at the HPSv3 Homepage.
Ссылки и действия
Дополнительные ресурсы: