PromptSculptor: Multi-Agent Based Text-to-Image Prompt Optimization

## Контекст В последние годы сфера генерируемых с помощью искусственного интеллекта изображений развивается с быстрым темпом, в силу этого возникает необходимость в инструментах, упрощающих процесс создания качественных изображений. Одним из главных затруднений является то, что пользователи должны создавать подробные и точные текстовые запросы (промпты), чтобы добиться желаемого результата. Несмотря на прогресс в области генерируемых моделей текста-к-изображению, пользователи часто сталкиваются с трудностями в создании эффективных промптов, что требует многократных итераций и трудоемкого редактирования. Это проблема в особенности актуальна для тех, кто не имеет опыта в создании промптов. Мы предлагаем PromptSculptor, систему, которая автоматизирует процесс оптимизации промптов, сделав его более эффективным и доступным. ## Метод PromptSculptor основывается на фреймворке многоагентной системы, в которой четыре специализированных агента работают совместно, чтобы генерировать и оптимизировать промпты. Образец пользовательского ввода распадается на четыре ключевых участка: сценарий, стиль, контекст и детали. Каждый агент специализируется на одном из этих аспектов и создает подробные промпты, используя технологию Chain-of-Thought для дополнительной инференции контекста. На данном этапе используется самостоятельное суждение, чтобы проверять, соответствует ли новый промпт пользовательскому запросу. Также есть фидбек-агент, который использует пользовательский отзыв для дальнейшего тонкого тюнинга. Архитектура была разработана таким образом, чтобы модель была модельно-агностичной и могла быть легко интегрирована с различными моделями генерируемых текста-к-изображению. ## Результаты Мы провели эксперименты сравнивая PromptSculptor с другими существующими подходами к оптимизации промптов. Наши результаты показывают, что наша система сокращает число итераций, необходимых для достижения стабильного удовлетворения пользователя, что приводит к улучшению качества изображений. Мы протестировали нашу модель с разными моделями генерируемых текста-к-изображению и обнаружили, что PromptSculptor позволяет получить значительно более точные и стилизованные изображения, даже при неполных и неточных пользовательских промптах. Это демонстрирует высокую эффективность нашей системы в создании качественных промптов с минимальными пользовательскими усилиями. ## Значимость ПромптСкульптор может быть применен в различных областях, где требуется качественное графическое оформление, например в дизайне, визуализации и рекламе. Одной из основных преимущ