When Cars Have Stereotypes: Auditing Demographic Bias in Objects from Text-to-Image Models
2508.03483v1
cs.CV, cs.AI
2025-08-06
Авторы:
Dasol Choi Jihwan Lee, Minjae Lee, Minsuk Kahng
Резюме на русском
**Резюме:**
В статье рассматривается проблема демографических предубеждений в объектах, генерируемых моделями text-to-image. Несмотря на то, что предыдущие исследования фокусировались в основном на биасе в демографической характеристике людей, авторы раскрывают более тонкую проблему — стереотипы в визуальных атрибутах объектов, таких как автомобили. Для этого был разработан новый фреймворк SODA (Stereotyped Object Diagnostic Audit), который позволяет систематически измерять такие биаси. Анализ 2700 изображений, сгенерированных тремя современными моделями (GPT Image-1, Imagen 4, Stable Diffusion) в пяти категориях объектов, показал сильную ассоциацию между демографическими признаками (такими как пол или этническая принадлежность) и визуальными чертами объектов. Обнаруженные стереотипы отражают и усиливают социально-культурные представления, в том числе самые тонкие и неочевидные. Также было выявлено, что некоторые модели генерируют менее разнообразные выходные данные, что усиливает различия в визуальных атрибутах. Результаты показывают, что SODA может стать эффективным инструментом для выявления и коррекции стереотипных биасов в моделях генеративного AI.
Abstract
While prior research on text-to-image generation has predominantly focused on
biases in human depictions, we investigate a more subtle yet pervasive
phenomenon: demographic bias in generated objects (e.g., cars). We introduce
SODA (Stereotyped Object Diagnostic Audit), a novel framework for
systematically measuring such biases. Our approach compares visual attributes
of objects generated with demographic cues (e.g., "for young people'') to those
from neutral prompts, across 2,700 images produced by three state-of-the-art
models (GPT Image-1, Imagen 4, and Stable Diffusion) in five object categories.
Through a comprehensive analysis, we uncover strong associations between
specific demographic groups and visual attributes, such as recurring color
patterns prompted by gender or ethnicity cues. These patterns reflect and
reinforce not only well-known stereotypes but also more subtle and unintuitive
biases. We also observe that some models generate less diverse outputs, which
in turn amplifies the visual disparities compared to neutral prompts. Our
proposed auditing framework offers a practical approach for testing, revealing
how stereotypes still remain embedded in today's generative models. We see this
as an essential step toward more systematic and responsible AI development.
Ссылки и действия
Дополнительные ресурсы: