📊 Статистика дайджестов
Всего дайджестов: 34022 Добавлено сегодня: 82
Последнее обновление: сегодня
Авторы:
Nirjhar Das, Mohit Sharma, Praharsh Nanavati, Kirankumar Shiragur, Amit Deshpande
Саммари на русском не найдено
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Annotation:
We study the problem of auditing the fairness of a given classifier under
partial feedback, where true labels are available only for positively
classified individuals, (e.g., loan repayment outcomes are observed only for
approved applicants). We introduce a novel cost model for acquiring additional
labeled data, designed to more accurately reflect real-world costs such as
credit assessment, loan processing, and potential defaults. Our goal is to find
optimal fairness audit algorithms that are mo...
Авторы:
Stephan Rabanser
#### Контекст
Современные машинные обучающие системы (ML) применяются во все более чувствительных областях, где надежность и достоверность являются ключевыми факторами успеха. Однако многие ML-системы страдают от недостатка надежности в условиях неопределенности, что может привести к ошибкам серьезных последствий. В этом контексте возникает задача повышения надежности ML-систем, особенно в ситуациях, когда модель не уверена в своих прогнозах. Эта проблема требует развития методов, позволяющих моделям не только делать прогнозы, но и решать, когда лучше отказаться от них, чтобы избежать потенциальных ошибок. Такие подходы способствуют укреплению доверия пользователей к ML-системам и их безопасному применению в критически важных областях.
#### Метод
Методология основывается на использовании **неопределенности** в процессе обучения модели как важных индикаторов состоятельности ее прогнозов. Техника **ensembling отдельных чекпоинтов**, обученных моделью в процессе обучения, позволяет построить метод **post-hoc abstention**, который не требует изменения архитектуры или функции потерь модели. Этот подход оказывается легким и эффективным, достигая новых результатов в области **selective prediction**. Более того, метод тщательно интегрируется с **differential privacy (DP)**, чтобы изучить влияние шума, вводимого для обеспечения конфиденциальности, на качество неопределенности. Это открытое исследование позволяет лучше понять тонкий баланс между неопределенностью и защитой конфиденциальности.
#### Результаты
Результаты исследований показали, что подход, основанный на **trajectory-based uncertainty**, не только показал высокую эффективность в **selective prediction**, но и доказал свою робастность при применении к задачам с защитой конфиденциальности. Другие методы, в том числе те, которые используют **ensemble других моделей**, могут страдать под воздействием шума DP, в то время как траектория-ориентированный подход остается надежным. Также была представлена финальная модель, которая не только способна отказаться от неуверенных прогнозов, но и делает это с поддержкой принципов повышения конфиденциальности. Эти результаты установили новый стандарт в области **trustworthy ML**.
#### Значимость
Полученные методы могут быть применены в различных областях, где надежность ML-систем является критически важной, таких как здравоохранение, финансы и безопасность. Известно, что **uncertainty estimation** позволяет моделям сделать более уверенные решения, уменьшая риск ошибок. Этот подход также открывает возможности для **сочетания надежности и конфиденциальности**, что может стать решением многих проблем в сфере прикладного использования моделей. Благодаря этой работе, модели становятся боле
Annotation:
Machine learning (ML) systems are increasingly deployed in high-stakes
domains where reliability is paramount. This thesis investigates how
uncertainty estimation can enhance the safety and trustworthiness of ML,
focusing on selective prediction -- where models abstain when confidence is
low.
We first show that a model's training trajectory contains rich uncertainty
signals that can be exploited without altering its architecture or loss. By
ensembling predictions from intermediate checkpoints,...
Авторы:
Pengxi Liu, Yi Shen, Matthew M. Engelhard, Benjamin A. Goldstein, Michael J. Pencina, Nicoleta J. Economou-Zavlanos, Michael M. Zavlanos
## КОНТЕКСТ И ПРОБЛЕМАТИКА
В настоящее время файрнесс (справедливость) алгоритмов прогнозирования стала ключевой проблемой в областях с высоким риском, таких как здравоохранение, финансы и правоохранительная система. Традиционно файрнесс оценивается на основе метрик, связанных с площадью под кривой характеристики (AUC), особенно когда речь идет̆ о рисковых оценках, а не о бинарных результатах. Однако существует значительный конфликт между достижением высокой AUC и обеспечением файрнесса между различными группами. Часто принудительное обеспечение справедливости приводит к значительному ухудшению качества модели, что ограничивает еӗ практическую применимость.
Одним из ключевых вызовов является необходимость выравнивания распределений рисковых оценок между различными группами без существенного потерй в AUC. Эта проблема особенно остра в сферах, где решения имеют прямое влияние на жизнь людей, такие как диагностика заболеваний или определение кредитных рисков. Таким образом, необходим метод, который может балансировать эти две цели: сохранение высокой производительности модели и обеспечение справедливости распределений рисков.
В свете этих вызовов, авторы предлагают метод Fair Proportional Optimal Transport (FairPOT), который предназначен для выравнивания распределений рисков между группами с помощью стратегического использования оптимального транспорта. Этот метод позволяет контролировать долю рисковых оценок, которые будут изменены, чтобы достичь оптимального баланса между файрнессом и производительностью.
## ПРЕДЛОЖЕННЫЙ МЕТОД
FairPOT представляет собой модельно-независимый пост-процессинговый фреймворк, который выравнивает распределения рисковых оценок между различными группами. Основная идея заключается в использовании оптимального транспорта для выравнивания распределений, но только для определенной доли (top-lambda квантиль) рисковых оценок в рамках неблагоприятной группы. Этот подход позволяет контролировать степень изменения распределений, что дает̆ возможность настроить баланс между файрнессом и AUC.
Алгоритм FairPOT работает путем переназначения рисковых оценок в рамках неблагоприятной группы с помощью оптимального транспорта. Это позволяет достичь более справедливого распределения, при этом сохраняя высокую производительность модели. Метод также расширяется на partial AUC, что позволяет концентрировать файрнесс-интервенции на самых высоких рисках, что особенно важно в приложениях, где критично точно определять высокие риски.
## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ
Авторы провели исследования на синтетических, публичных и клинических данных. Результаты показали, что FairPOT показывает лучшие результаты по сравнению с существующими пост-процессинговыми методами в обоих сценариях: глобальном AUC и partial AUC. Метод достигает значительного улучшения файрнесса с минимальным ухудшением AUC или даже с улучшением утилиты в некоторых случаях.
## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ
FairPOT может быть применен в различных областях, где необходимо балансировать производительность и справедливость, таких как здравоохранение, финансы и правоохранительная система. Его высокая вычислительная эффективность и адаптивность делают его практически применимым в реальных условиях.
## ВЫВОДЫ И ПЕРСПЕКТИВЫ
FairPOT представляет собой значительный шаг вперёд в области файрнесс-оптимизации. Будущие исследования могут расширить этот подход на более сложные модели и дополнительные метрики файрнесса.
Annotation:
Fairness metrics utilizing the area under the receiver operator
characteristic curve (AUC) have gained increasing attention in high-stakes
domains such as healthcare, finance, and criminal justice. In these domains,
fairness is often evaluated over risk scores rather than binary outcomes, and a
common challenge is that enforcing strict fairness can significantly degrade
AUC performance. To address this challenge, we propose Fair Proportional
Optimal Transport (FairPOT), a novel, model-agnostic p...