Decorrelated feature importance from local sample weighting

#### Контекст В настоящее время обширно применяются машинные обучения (ML) для решения различных задач, и интерпретация моделей ML становится все более важной. Одним из популярных способов получения понимания модели является анализ вклада признаков (Feature Importance, FI). Распространенной проблемой является то, что FI может оказаться сильно зависим от корреляции между признаками в обучающих данных, что приводит к неточным оценкам. Например, если несколько признаков сильно коррелированы с целевым сигналом, а также со взятой из шума, то шумный признак может получить более высокий вклад в FI, чем любой другой признак. Такая ситуация требует разработки методов, которые позволят улучшить FI, даже в случае высокой корреляции признаков. #### Метод Метод, предложенный в статье, называется Local Sample Weighting (LOSAW). Он локально применяется в машинном обучении для уменьшения корреляции между признаками, когда FI оценивается. LOSAW вдохновлен техникой "inverser Wahrscheinlichkeitsgewichtung" из рамков причинного анализа. Основная идея состоит в том, что в каждой точке обучения модели веса выборок пересчитываются так, чтобы признак, который исследуется, был декоррелирован от остальных признаков. Это улучшает точность оценки FI. Для регулирования количества декорреляции вводится минимальный эффективный размер выборки (Minimum Effective Sample Size, MESS), который позволяет сбалансировать точность и биаз модели. LOSAW может быть интегрирован в различные ML-алгоритмы, включая случайные лесы и сверточные нейронные сети. #### Результаты Авторы провели эксперименты на различных симуляционных данных, показав разные зависимости между признаками. Эксперименты показали, что LOSAW улучшает FI в плохо декоррелированных случаях без существенного ухудшения FI в случаях более декоррелированных данных. Также была проверена эффективность LOSAW в контексте случайных лесов и нейронных сетей, где он повысил качество FI. Было также выявлено, что LOSAW может улучшить точность предсказаний, особенно при работе с данными, не входящими в обучающую выборку (out-of-distribution). #### Значимость Важность LOSAW заключается в том, что он значительно улучшает точность FI в случаях, когда признаки сильно коррелированы. Это полезно для понимания работы многих ML-моделей, в том числе случайных лесов и нейронных сетей. Значительное преимущество LOSAW заключается в том, что он может быть интегрирован в различные ML-алгоритмы без существенных изменений архитектуры. Более того, LOSAW позволяет регулировать точность и биаз модели, используя минимальный эффективный размер выборки, что дает преимущество в управлении торговлей между точностью и простотой. #### Выводы В результате, LOSAW демонстрирует способность улучшать FI в за