Collective dynamics of strategic classification
2508.09340v1
cs.GT, cs.AI, econ.TH
2025-08-15
Авторы:
Marta C. Couto, Flavia Barsotti, Fernando P. Santos
Резюме на русском
## Контекст
Classification алгоритмы на основе Искусственного Интеллекта (ИИ) сегодня используются в высококонтрастных решениях в финансах, здравоохранении, уголовном правосудии и образовании. Такие алгоритмы могут менять свое поведение в результате стратегических действий индивидов, которые, в свою очередь, приводят к новым вопросам и требованиям к ре-тренировке. Насколько эти динамики будут взаимосвязаны, и какие будут их последствия? Этот вопрос рассматривается в рамках эволюционной теории игр, которая позволяет тщательно исследовать логику взаимодействия между пользователями и институциями. Одним из примеров может служить институты, использующие алгоритмы для кредитных оценок. Мы рассматриваем различные сценарии взаимодействия, в которых конкретные аспекты, такие как уязвимость алгоритмов к стратегическим манипуляциям, могут привести к высоким социальным издержкам или искажению информации.
## Метод
Мы применяем эволюционную теорию игр для моделирования динамики взаимодействия между пользователями и инстанциями. Модель включает в себя несколько механизмов:
1. **Поведение пользователей** — индивиды могут стратегически реагировать на выводы алгоритмов, меняя поведение или отчетливость данных.
2. **Реакция институтов** — алгоритмы могут быть переучитываемы, чтобы учитывать эти изменения.
3. **Эволюционная динамика** — мы описываем выборку пользователей через стратегические игры, где каждый игрок выбирает между "соответствием" и "манипуляцией", а инстанции выбирают алгоритмы в зависимости от целей и ограничений.
4. **Интервенции** — мы исследуем возможности, такие как улучшение детектирования стратегической манипуляции и предоставление алгоритмического рекорсса.
В основе работы лежит вычислительная архитектура, которая позволяет выполнять многочисленные симуляции и тестирование различных гипотез.
## Результаты
Мы проводим ряд экспериментов, используя различные сценарии взаимодействия. Например, в сценарии с неразрушаемыми алгоритмами мы продемонстрировали подтверждение вызовов, обсуждаемых в стратегической классификации:
- **Высокая социальная стоимость** — пользователи платят избыточную стоимость для соответствия.
- **Манипуляция** — пользователи предоставляют недостоверные данные.
При повышении способности детектировать стратегические манипуляции мы обнаружили, что это может снизить социальные издержки и способствовать улучшению пользователей. Однако, когда алгоритмы не могут быть совершенны, алгоритмический рекорс может помочь уменьшить со
Abstract
Classification algorithms based on Artificial Intelligence (AI) are nowadays
applied in high-stakes decisions in finance, healthcare, criminal justice, or
education. Individuals can strategically adapt to the information gathered
about classifiers, which in turn may require algorithms to be re-trained. Which
collective dynamics will result from users' adaptation and algorithms'
retraining? We apply evolutionary game theory to address this question. Our
framework provides a mathematically rigorous way of treating the problem of
feedback loops between collectives of users and institutions, allowing to test
interventions to mitigate the adverse effects of strategic adaptation. As a
case study, we consider institutions deploying algorithms for credit lending.
We consider several scenarios, each representing different interaction
paradigms. When algorithms are not robust against strategic manipulation, we
are able to capture previous challenges discussed in the strategic
classification literature, whereby users either pay excessive costs to meet the
institutions' expectations (leading to high social costs) or game the algorithm
(e.g., provide fake information). From this baseline setting, we test the role
of improving gaming detection and providing algorithmic recourse. We show that
increased detection capabilities reduce social costs and could lead to users'
improvement; when perfect classifiers are not feasible (likely to occur in
practice), algorithmic recourse can steer the dynamics towards high users'
improvement rates. The speed at which the institutions re-adapt to the user's
population plays a role in the final outcome. Finally, we explore a scenario
where strict institutions provide actionable recourse to their unsuccessful
users and observe cycling dynamics so far unnoticed in the literature.
Ссылки и действия
Дополнительные ресурсы: