Moment- and Power-Spectrum-Based Gaussianity Regularization for Text-to-Image Models

#### Контекст Текст-это-изображение (text-to-image) модели становятся все более популярными в области генерируемого контента. Однако эти модели часто сталкиваются с проблемами, такими как **reward hacking** и слабая алгебраическая структура в пространстве латентных переменных. Для улучшения качества генерируемых изображений необходимо обеспечить лучшую гауссовую структуру в латентном пространстве. Несмотря на существующие подходы к регуляризации гауссовости, они либо ограничены конкретными порядками моментов, либо эффективны только в пространственных вычислениях. Это мотивирует разработку универсального подхода, объединяющего момент- и спектром-регуляризацию для лучшего приближения к стандартной гауссовой системе. #### Метод Мы предлагаем **Moment- and Power-Spectrum-Based Gaussianity Regularization**, которая сочетает два вида регуляризации: 1. **Момент-регуляризация** — основывается на вычислении математических моментов (средних, дисперсий) пространственных выборок. 2. **Спектром-регуляризация** — основывается на анализе спектра латентных переменных. Затем мы используем **композитный потенциал**, который объединяет эти два регулятора, чтобы привести выборки к стандартной гауссовой системе. Чтобы обеспечить **пермутационную инвариантность**, мы применяем регуляризатор к случайно перемешанным выборкам. У нас есть аналитические выражения для ожидаемых значений моментов и спектра, что позволяет нам оптимизировать потенциал с более высокой эффективностью. #### Результаты Мы проверили наш подход на текст-это-изображение модели, используя датасеты, такие как **COCO** и **LAION**. Мы измерили качество генерации изображений с помощью метрик, таких как **Inception Score (IS)** и **Fréchet Inception Distance (FID)**. Наши результаты показали: - **Улучшение гауссовости** в латентном пространстве. - **Уменьшение reward hacking**, что приводит к более точному выполнению текстовых указаний. - **Ускорение конвергенции** тренировочного процесса. По сравнению с существующими подходами, наш подход показал лучшую эффективность и более устойчивость к нежелательному поведению модели. #### Значимость Наш подход может быть применен в различных областях, таких как: - **Генерирование изображений** с текстовым указанием. - **Оптимизация латентного пространства** для лучшего соответствия текстовых описаний. - **Приложения в искусственном интеллекте**, где необходимо гарантировать гауссовую структуру в выводе. Наш подход имеет **преимущества** в том, что он эффективен, может быть реализован с меньшим вычислительным временем и обеспечивает лучшую контролируемость генери