"I think this is fair'': Uncovering the Complexities of Stakeholder Decision-Making in AI Fairness Assessment
2509.17956v1
cs.AI, cs.HC
2025-09-24
Авторы:
Lin Luo, Yuri Nakao, Mathieu Chollet, Hiroya Inakoshi, Simone Stumpf
Резюме на русском
## Контекст
Оценка справедливости в искусственном интеллекте (ИИ) традиционно заключается в выборе защищенных признаков, метрик справедливости и установлении порогов приемлемости этих метрик. Однако мало известно о том, как справедливость оценивают лица, не обладающие техническими знаниями в области ИИ, но имеющие прямую связь с результатами работы ИИ. Например, это могут быть субъекты решений, которые могут быть повлияны на кредитной системой, но не участвуют в ее формировании. Данная проблема мотивирует исследователей изучить, как такие субъекты принимают решения о приоритетах при выборе признаков, метриках и порогах справедливости, когда они сами выступают в роли принимающих решения. Это позволяет выявлять более глубокие аспекты справедливости, в которых могут быть учитываемые факторы, не входящие в законные определения, но важные для конкретных субъектов.
## Метод
В качестве методологии использовалось рейтинговое исследование, в котором принимали участие 30 субъектов, не обладающих подробными техническими знаниями в области ИИ. Эти лица принимали решения в сценарии кредитной системы, выбирая признаки, которые считали приоритетными, и устанавливая метрики справедливости и пороги приемлемости. Использовались технические инструменты для поддержки выбора признаков и метрик, позволяя субъектам решать в условиях реального принятия решений. Методика также включала в себя диалогические элементы, позволявшие субъектам коммуницировать о своих причинах выбора и оправданиях. Это позволило изучить не только результаты, но и процесс принятия решений.
## Результаты
В результате исследования выявлено, что субъекты не ограничивались законными признаками, а выбирали для оценки справедливости значительно большее количество факторов, в том числе не защищенных законом. Они также ставили целиком контекстные факторы в центр внимания, такие как финансовый статус, семейная обстановка и другие ежедневные факторы. Метрики и пороги справедливости были ставимыми намного чувствительнее, чем при типичных практиках экспертов. Некоторые субъекты даже предпочли разрабатывать собственные, конкретно подходящие под их ситуацию, понятия справедливости. Эти результаты показали, что справедливость для субъектов не является лишь формальным понятием, но является комплексным понятием, требующим внимания различных аспектов, которые могут быть повлияны на решение.
## Значимость
Научные результаты имеют значительный потенциал для развития новых подходов к государственной политике, технологической инициа
Abstract
Assessing fairness in artificial intelligence (AI) typically involves AI
experts who select protected features, fairness metrics, and set fairness
thresholds. However, little is known about how stakeholders, particularly those
affected by AI outcomes but lacking AI expertise, assess fairness. To address
this gap, we conducted a qualitative study with 30 stakeholders without AI
expertise, representing potential decision subjects in a credit rating
scenario, to examine how they assess fairness when placed in the role of
deciding on features with priority, metrics, and thresholds. We reveal that
stakeholders' fairness decisions are more complex than typical AI expert
practices: they considered features far beyond legally protected features,
tailored metrics for specific contexts, set diverse yet stricter fairness
thresholds, and even preferred designing customized fairness. Our results
extend the understanding of how stakeholders can meaningfully contribute to AI
fairness governance and mitigation, underscoring the importance of
incorporating stakeholders' nuanced fairness judgments.
Ссылки и действия
Дополнительные ресурсы: