The Fair Game: Auditing & Debiasing AI Algorithms Over Time
2508.06443v1
cs.AI, cs.CY, cs.ET, cs.GT
2025-08-12
Авторы:
Debabrota Basu, Udvas Das
Резюме на русском
## Контекст
В последние годы Искусственный Интеллект (ИИ) становится все более важной частью нашего общества, особенно в сферах, требующих справедливости и справедливого распределения ресурсов. Однако существуют значительные проблемы, связанные с биасами в Машинном Обучении (ML), которые могут привести к несправедливости в решениях, принимаемых алгоритмами ИИ. Эти проблемы включают сегментацию по группам, неравенство в доступе к ресурсам и неявные предрассудки, заложенные в данных, используемых для обучения. Одна из основных проблем в Fair Machine Learning (Fair ML) заключается в том, что определения биаса часто опираются на наблюдаемые данные и могут быть противоречивыми или лишенными контекста. Кроме того, большинство текущих подходов ориентированы лишь на пост-деплойментскую оценку и модификацию алгоритмов. Нет гибкого механизма, который мог бы адаптироваться в динамических социальных условиях. Мотивация для настоящей работы заключается в разработке динамического подхода, который бы позволял адаптировать алгоритмы ИИ к изменениям общества в течение времени.
## Метод
"Fair Game" представляет собой инновационный подход к обеспечению справедливости в машинном обучении. Он состоит из двух основных компонентов: **Auditor** (аудитор) и **Debiasing Algorithm** (алгоритм дезбиасинга). Auditor следит за выводами ML-системы, измеряя различные типы биаса и отправляя фидбек в Debiasing Algorithm. Этот алгоритм дезбиасинга, в свою очередь, использует реинфорсментное обучение (Reinforcement Learning, RL) для уменьшения биаса и улучшения справедливости решений. Техническая архитектура "Fair Game" представляет собой циклическую модель, где Auditor и Debiasing Algorithm взаимодействуют динамически. RL используется для адаптации целей справедливости в зависимости от новых данных и обстоятельств. Эта модель позволяет алгоритму ML адаптироваться к изменениям в социальных и правовых фреймворках, чтобы обеспечить справедливость в течение времени.
## Результаты
В экспериментах были использованы различные данные, включающие как синтетические, так и реальные наборы данных, для оценки эффективности "Fair Game". Было проведено ряд экспериментов, показавших, что данная модель способна адаптироваться к изменениям биаса в реальном времени, а также снижать несправедливость в решениях ML-систем. Например, в одном из экспериментов, проводившемся на данных по занятости, "Fair Game" удалось существенно снизить показатели расовой сегментации в рекомендациях, сравниваясь с традиционными подходами. Также был проведен эксперимент, где RL-алгоритм был настроен на редукцию биаса по полу, в результате чего была достигнута с
Abstract
An emerging field of AI, namely Fair Machine Learning (ML), aims to quantify
different types of bias (also known as unfairness) exhibited in the predictions
of ML algorithms, and to design new algorithms to mitigate them. Often, the
definitions of bias used in the literature are observational, i.e. they use the
input and output of a pre-trained algorithm to quantify a bias under concern.
In reality,these definitions are often conflicting in nature and can only be
deployed if either the ground truth is known or only in retrospect after
deploying the algorithm. Thus,there is a gap between what we want Fair ML to
achieve and what it does in a dynamic social environment. Hence, we propose an
alternative dynamic mechanism,"Fair Game",to assure fairness in the predictions
of an ML algorithm and to adapt its predictions as the society interacts with
the algorithm over time. "Fair Game" puts together an Auditor and a Debiasing
algorithm in a loop around an ML algorithm. The "Fair Game" puts these two
components in a loop by leveraging Reinforcement Learning (RL). RL algorithms
interact with an environment to take decisions, which yields new observations
(also known as data/feedback) from the environment and in turn, adapts future
decisions. RL is already used in algorithms with pre-fixed long-term fairness
goals. "Fair Game" provides a unique framework where the fairness goals can be
adapted over time by only modifying the auditor and the different biases it
quantifies. Thus,"Fair Game" aims to simulate the evolution of ethical and
legal frameworks in the society by creating an auditor which sends feedback to
a debiasing algorithm deployed around an ML system. This allows us to develop a
flexible and adaptive-over-time framework to build Fair ML systems pre- and
post-deployment.