SVGauge: Towards Human-Aligned Evaluation for SVG Generation

## Контекст В последнее время текстово-ориентированные системы генерации изображений (Text-to-Image) получили большое внимание в области искусственного интеллекта. Однако появление новых типов изображений, таких как графика в векторном виде (SVG), предложило новые вызовы для эффективной и точной оценки. Реалистичные SVG-изображения, генерируемые с помощью текстовых запросов, требуют метрик, которые учитывают их символические и векторно-графические особенности. Отсутствие подходящих метрик привело к существующей проблеме: традиционные метрики, такие как FID и CLIPScore, не могут точно оценивать качество SVG-изображений. Это привело к необходимости в разработке специализированных методов, которые могут точно оценивать качество SVG-графики, созданной с помощью текстовых запросов. ## Метод Система SVGauge предлагает два ключевых компонента для оценки текстово-ориентированных SVG-изображений. В первую очередь, для измерения **визуальной точности** используется SigLIP-метрика, которая извлекает эмбеддинги из изображений и использует PCA и метод whitening для дополнительной нормализации. Во вторую очередь, для измерения **семантической согласованности** используется совместное пространство SBERT и TF-IDF, где сравниваются описания SVG-изображений, сгенерированные с помощью BLIP-2, с исходными запросами текста. Эти два компонента объединены в единую метрику, которая может эффективно оценивать как визуальное качество, так и семантическую согласованность SVG-изображений. ## Результаты Исследование было проведено на базе подробного SHE-бенчмарка, содержащего 8000 SVG-изображений, созданных 8 различными текстово-ориентированными LLM-генераторами. SVGauge была сравнена с традиционными метриками, такими как FID, LPIPS и CLIPScore. Результаты показывают, что SVGauge достигает наивысшей корреляции с результатами человеческого оценивания и лучше всего воспроизводит системно-уровневые рейтинги по сравнению с другими метриками. Это подтверждает не только эффективность SVGauge в оценке качества SVG-изображений, но также то, что она учитывает уникальные свойства этого типа графики. ## Значимость SVGauge представляет собой первую метрику, которая адаптирована для векторного изображения, и может быть применена в различных задачах, таких как оценка качества генераторов SVG, анализ систем текстово-ориентированной генерации изображений и развитие новых алгоритмов. SVGauge не только улучшает точность оценки, но и обеспечивает практические возможности для улучшения моделей генерации изображений. В будущем, SVGauge может стать ключевым инструментом для оценки качества генераторов