Yet another algorithmic bias: A Discursive Analysis of Large Language Models Reinforcing Dominant Discourses on Gender and Race
2508.10304v1
cs.CL, cs.AI
2025-08-16
Авторы:
Gustavo Bonil, Simone Hashiguti, Jhessica Silva, João Gondim, Helena Maia, Nádia Silva, Helio Pedrini, Sandra Avila
Резюме на русском
#### Контекст
В последние годы искусственный интеллект (AI) становится все более важной частью нашего цифрового общества, динамично развиваясь и применяясь во многих сферах жизнедеятельности. Одним из самых удачных достижений AI являются боLge-дэтала ларже энджел модели (LLMs), которые успешно используются в различных областях, от работы с текстами до перевода и синтеза речи. Однако, с ростом сложности этих моделей возникает вопрос их влияния на социальные дискриминации и закрепленные в языке дискурсы. Многие исследования уже выявляли, что LLMs могут развивать или даже усиливать центральные доминирующие дискурсы, включая те, которые связаны с гендерными и расовыми дискриминациями. Несмотря на выгоды, которые приносят LLMs, проблема распространения биаса в их результатах остается актуальной. Особенно важно это для гендерных и расовых дискурсов, где биас может привести к ускорению социальных неравенств. Наша мотивация заключается в том, чтобы понять, какие способы существуют для изучения и устранения таких биаса в AI-системах.
#### Метод
Мы применяем квалитативный, дискурсивный подход для анализа выводов LLMs, используя тексты, сгенерированные разными моделями. Наша исследовательская домашка основывается на сказках, где главными персонажами являются женщины разных рас (черных и белых). Мы проводим ручной анализ этих текстов, стараясь выявить встроенные гендерные и расовые биасы, которые могут отображаться в их характере, поведении и судьбе. Метод базируется на визуальном и когнитивном анализе, что позволяет акцентировать внимание на том, как язык используется для формирования образов и представлений в контексте дискурса. Мы также исследуем, насколько эффективны алгоритмы поправки биаса и как они меняют структуру этих текстов, чтобы уменьшить негативные эффекты.
#### Результаты
Мы выявили несколько интересных тенденций в сгенерированных текстах. Белые женщины часто описываются как лидеры своих собственных историй, при этом сфокусированные на самопознании и саморазвитии. Черные женщины, с другой стороны, часто изображаются в контексте истории их народа, стремительной резистенции и наследии. Модели также склонны дублировать существующие социальные стереотипы, что приводит к продолжению устаревших представлений. Когда мы просили модели исправить эти биасы, они в основном просто изменили формулировку, не убирая основные проблемные смыслы. Это показывает, что текущие методы поправки биаса в LLMs недостаточно эффективны и часто оставляют недооцененным влияние предрассудко
Abstract
With the advance of Artificial Intelligence (AI), Large Language Models
(LLMs) have gained prominence and been applied in diverse contexts. As they
evolve into more sophisticated versions, it is essential to assess whether they
reproduce biases, such as discrimination and racialization, while maintaining
hegemonic discourses. Current bias detection approaches rely mostly on
quantitative, automated methods, which often overlook the nuanced ways in which
biases emerge in natural language. This study proposes a qualitative,
discursive framework to complement such methods. Through manual analysis of
LLM-generated short stories featuring Black and white women, we investigate
gender and racial biases. We contend that qualitative methods such as the one
proposed here are fundamental to help both developers and users identify the
precise ways in which biases manifest in LLM outputs, thus enabling better
conditions to mitigate them. Results show that Black women are portrayed as
tied to ancestry and resistance, while white women appear in self-discovery
processes. These patterns reflect how language models replicate crystalized
discursive representations, reinforcing essentialization and a sense of social
immobility. When prompted to correct biases, models offered superficial
revisions that maintained problematic meanings, revealing limitations in
fostering inclusive narratives. Our results demonstrate the ideological
functioning of algorithms and have significant implications for the ethical use
and development of AI. The study reinforces the need for critical,
interdisciplinary approaches to AI design and deployment, addressing how
LLM-generated discourses reflect and perpetuate inequalities.
Ссылки и действия
Дополнительные ресурсы: