Robust Mixture Models for Algorithmic Fairness Under Latent Heterogeneity

## Контекст В машинном обучении стандартные модели, оптимизированные для общей производительности, часто сталкиваются с проблемами на менее выраженных подгруппах данных. Эти проблемы усиливаются при наличии скрытых подгрупп, которые могут быть влияны сложными взаимодействиями между линейными и дискретными признаками. Эти особенности становятся критически важными в таких областях, как рекрутинг, заемный сервис и здравоохранение, где необходимо минимизировать алгоритмическую несправедливость и обеспечить высокую производительность в условиях неопределенности подгрупп. Рост технологий, включая нейронные сети, дал улучшенную точность, но привел к ухудшению честности и устойчивости моделей. Многие методы, пытающиеся улучшить честность, требуют дополнительных меток подгрупп, что неэффективно в реальных ситуациях, где такие метки могут быть недоступны или сложно определить. Мы предлагаем ROME (RObust Mixture Ensemble), метод, который может обнаруживать скрытую структуру подгрупп и оптимизироваться для худшей подгруппы, улучшая честность и устойчивость без дополнительных меток подгрупп. ## Метод ROME предлагает две основные концепции: линейный ROME, основанный на алгоритме Эмпирического Максимума (EM) для моделей линейных моделей, и нейронный ROME, основанный на Миксетов-Экспертов для нелинейных сетей. Линейный ROME использует EM для выявления скрытого структурного подкласса, а нейронный ROME расширяет эту идею с использованием нейронных сетей, включая несколько экспертов, чтобы учитывать сложные взаимосвязи в данных. Оба подхода ориентированы на максимизацию функции потерь для худшей подгруппы, чтобы повысить уязвимость модели к низким результатам для самых жертвенных подгрупп. Модель обучается используя данные без дополнительных меток подгрупп, что делает ее работоспособной даже в условиях неопределенности подгрупп. ## Результаты Мы проверили ROME на наборах данных, включая COMPAS, Adult и CelebA, сравнив с такими методами, как re-weighting и Group DRO. Наши результаты показали, что ROME превосходит эти методы в тестах на худшую подгруппу, сохраняя высокую производительность на общей выборке. Мы также провели эксперименты с нелинейными моделями на нескольких многозначных данных, показав, что Микстов-Экспертов обеспечивают значительные улучшения в честности в сравнении с линейными моделями. Эти результаты подтверждают гибкость и эффективность ROME в различных сценариях. ## Значимость ROME может применяться в тех областях, где необходимо улучшение честности моделей в условиях неопределенности подгрупп, таких как рекрутин