USO: Unified Style and Subject-Driven Generation via Disentangled and Reward Learning

## Контекст Изучение генерируемых стилистическими и тематическими ограничениями возникает во многих областях, включая глубокое обучение, графический дизайн, творческий текст и визуальный контент. Наиболее типичным является два разных подхода: стилистическая модель создает содержимое, сохраняя стилевую согласованность, в то время как тематическая модель сохраняет консистентность субъекта. Однако, подходы типично рассматриваются как взаимоисключающие, что создает проблему в создании моделей, способных одновременно обеспечить глубину содержания и стилевых компонентов. Эта проблема характеризуется взаимной антагонистичностью этих целей, которая часто приводит к взаимной потере качества. Существующие модели стилистической и тематической генерации обычно требуют переобучения или ручной коррекции, чтобы достичь приемлемого результата. Этот факт является мотивацией для разработки модели, которая может объединить эти две цели в единое решение. ## Метод Модель USO предлагает создать единый подход к обработке стилистических и тематических задач. Для этого предлагается разделять содержание и стиль, а затем рекомпонировать их в соответствии с конкретными потребностями. Основной инновацией является использование трехзвенной структуры модели: 1. **Дисентangling Scheme**: Эта часть состоит из двух подходов — style-alignment training и content-style disentanglement training, которые работают сплошной системой, чтобы обеспечить глубину анализа и композиции стиля и содержания. 2. **Style Reward Learning**: Это описано как SRL — Style Reward Learning, которое используется для оптимизации результатов, учитывая тематические и стилевые характеристики. 3. **USO-Bench**: Новая модель предлагается для оценки совместного эффекта стиля и содержания, а также для предоставления полного бенчмарка для сравнения различных моделей. ## Результаты Проведенные эксперименты показывают, что USO не только показывает высокую точность в выполнении задач стилистической и тематической генерации, но и достигает новых рекордов в сравнении с другими моделями. Модель была проверена на уникальном датасете USO-Bench, который содержит три пары (content images, style images, stylized content images), чтобы покрыть широкий спектр сценариев использования. Отчеты показывают, что USO достигает стабильно высокого качества в генерации содержания, которое коррелирует с этими целями. ## Значимость Модель USO предлагает новый подход к объединению стилистической и тематической генерации в едином фреймворке. Она имеет широкое применение в области глубокого обучения, включая редактирование текста, графический дизайн и творческую генерацию. Одним из основных