Bias Amplification in Stable Diffusion's Representation of Stigma Through Skin Tones and Their Homogeneity

## Контекст Текстово-изображенческие генераторы (T2Is) — мощные инструменты, которые могут генерировать изображения на основе текстовых запросов. Однако они также являются источником новых проблем, включая усиление стереотипов. Например, распространенное во многих областях мнение о том, что люди с темнотой кожей несут культурные или экономические стереотипы, может быть усилено из-за неосторожности в обучении генераторов. Это может привести к углублению существующих расовых и социальных дискриминаций. Мы исследуем, насколько глубоко эти проблемы влияют на T2I-модели, в частности на Stable Diffusion, и как они могут усиливать стереотипы, связанные с цветовой плоскостью кожи. ## Метод Мы использовали 93 стigmatизированных идентификаторов, которые могут привести к социальной дискриминации, такие как сексуальное ориентирование и религиозное убеждение. Для каждого идентификатора мы генерировали изображения с помощью трех версий Stable Diffusion (v1.5, v2.1, XL). Мы измеряли диапазон цветов кожи, неоднородность и разнообразие в изображениях результатов. Для того, чтобы метрики соответствовали человеческому восприятию, мы разработали новую методику. Также мы использовали сравнение с реальными данными лиц, чтобы доказать, насколько модели Stable Diffusion различаются от реальных случаев. ## Результаты Мы обнаружили, что Stable Diffusion XL генерирует изображения с значительно более темной кожей и меньшей красностью, чем предыдущие версии или даже реальные лица. Это уровень темноты кожи, который может сильно усиливать стереотипы по расовой принадлежности. Модель XL также показывает меньшую разнообразность в цвете кожи по сравнению с другими моделями и даже с реальными нормальными лицами. Например, 60,29% стigmatизированных идентификаторов были изображены с меньшей разнообразностью кожными тонами по сравнению с нестigmatизированными. Более того, Stable Diffusion XL гораздо более часто генерирует изображения с одним и тем же цветом кожи для разных стigmatизированных идентификаторов, что усиливает стереотип о том, что люди разных рас имеют одинаковые цвета кожи. ## Значимость Эти результаты имеют важное значение в области искусственного интеллекта, компьютерного зрения и социальных сетей. Stable Diffusion XL широко используется для построения изображений и текстов, и его способность генерировать более стереотипные изображения может ускорить проблемы, связанные с расу и социальным равенством. Мы также показали, что во время процесса обучения модели генерируются менее разнообразные изображения с темным цветом кожи, что может привести к углублени