VisuCraft: Enhancing Large Vision-Language Models for Complex Visual-Guided Creative Content Generation via Structured Information Extraction
2508.02890v1
cs.CV, cs.CL
2025-08-09
Авторы:
Rongxin Jiang, Robert Long, Chenghao Gu, Mingrui Yan
Резюме на русском
Данная работа представляет собой VisuCraft — платформу, повышающую потенциал Large Vision-Language Models (LVLMs) в создании комплексных визуально-регулируемых творческих текстов. Легко отмечается, что существующие LVLMs сталкиваются с проблемами в обеспечении высокой визуальной точности, творчества и точности выполнения пользовательских инструкций при генерации длинных текстов. VisuCraft предлагает решение, объединяя мультимодальный структурированный экстрактор (E) и модуль динамической генерации подсказок (G). Экстрактор определяет тонкие визуальные атрибуты изображений, а модуль G создает пространственно оптимизированные подсказки, интегрируя их с пользовательскими инструкциями для подключенных LVLMs (например, LLaVA или InstructBLIP). На новом ImageStoryGen-500K датасете, оцененном по VisuGen Metrics (Visual Grounding, Creativity, Instruction Adherence), VisuCraft показал существенные улучшения по сравнению с базовыми LVLMs, особенно в творчестве и соблюдении инструкций. Это работа открывает новые возможности для LVLMs в области глубокой творческой имитации.
Abstract
This paper introduces VisuCraft, a novel framework designed to significantly
enhance the capabilities of Large Vision-Language Models (LVLMs) in complex
visual-guided creative content generation. Existing LVLMs often exhibit
limitations in maintaining high visual fidelity, genuine creativity, and
precise adherence to nuanced user instructions when generating long-form texts.
VisuCraft addresses these challenges by integrating a multimodal structured
information extractor (E) and a dynamic prompt generation module (G). The
extractor distills fine-grained visual attributes from input images into a
rich, structured representation, which the dynamic prompt module then combines
with user instructions to create highly optimized prompts for underlying LVLMs
(e.g., LLaVA, InstructBLIP). Evaluated on the self-constructed
ImageStoryGen-500K dataset using VisuGen Metrics (Visual Grounding, Creativity,
and Instruction Adherence), VisuCraft consistently outperforms baseline LVLMs
across tasks like story generation and poetry composition. Our results
demonstrate remarkable improvements, particularly in creativity and instruction
adherence, validating VisuCraft's effectiveness in producing imaginative,
visually grounded, and user-aligned long-form creative text. This work unlocks
new potential for LVLMs in sophisticated creative AI applications.
Ссылки и действия
Дополнительные ресурсы: