Enhancing Credit Default Prediction Using Boruta Feature Selection and DBSCAN Algorithm with Different Resampling Techniques

## Контекст Обработка кредитных дефолтов является ключевым аспектом в машинном обучении, особенно в области риск-менеджмента и финансового анализа. Данные об обслуживании кредитов часто склонны к несбалансированности, где клиенты со скрытыми дефолтами составляют минимальную часть общего количества данных. Это недостаток приводит к снижению точности моделей во время предсказания. Другая проблема заключается в выборе характеристик, которые могут негативно сказаться на качестве моделей. Из-за этого необходимо разработать эффективные методы для признакового отбора и методов балансировки данных для улучшения предсказаний кредитных дефолтов. ## Метод Методология исследования включает в себя несколько шагов. В качестве начального этапа проводится базовое сравнение ML-моделей на необработанных данных для определения линии базы. Затем, для балансировки данных используются техники SMOTE, SMOTE-Tomek и ADASYN. Для признакового отбора используется метод Boruta, который позволяет выделить существенные признаки. Для извлечения выбросов применяется алгоритм DBSCAN. Наконец, несколько ML-классификаторов, включая XGBoost, AdaBoost, Gradient Boosting Machines (GBM) и Light GBM, обучаются на этих данных для оценки. Все модели оцениваются по таким показателям качества, как ROC-AUC, PR-AUC, G-mean и F1-score. ## Результаты Исследование проводится на реальных данных об оценке кредитных дефолтов, доступных в репозитории University of Cleveland ML. Модель Boruta+DBSCAN+SMOTE-Tomek+GBM показала лучшие результаты среди всех моделей. Она достигла F1-score в 82.56%, G-mean в 82.98%, ROC-AUC в 90.90% и PR-AUC в 91.85%. Эти результаты превышают показатели других классификаторов и указывают на эффективность применения Boruta при отборе признаков, а также на выгоду от использования DBSCAN для обнаружения выбросов и SMOTE-Tomek для балансировки данных. ## Значимость Изученные методы могут быть применены в различных сферах, таких как финансовый анализ, риск-менеджмент и кредитные оценки. Они предоставляют более точные и надёжные методы для прогнозирования кредитных дефолтов, что позволяет уменьшить риск ошибочных оценок и улучшить управление рисками. Это также может положительно сказаться на оптимизации процессов принятия решений в финансовых организациях. ## Выводы Результаты исследования показывают, что методы Boruta для признакового отбора и DBSCAN для обнаружения выбросов эффективно могут быть использованы для улучшения предсказаний кредитных дефолтов. Будущие исследования могут сосредотачиваться на изучении других методов балансировки данных и расширении моделей для более сложных структур данных.