Multi-Armed Bandits-Based Optimization of Decision Trees

## Контекст Одним из ключевых вопросов в машинном обучении является оптимизация моделей деревьев решений. Их природа склонна к переобучению, так как они могут хранить ненужные фичи или шум в данных. Оптимизация моделей деревьев решений включает в себя процесс поиска оптимального баланса между объяснимостью и производительностью. Одним из ключевых этапов этой оптимизации является приведение модели к менее сложной форме, чтобы уменьшить вероятность переобучения и повысить устойчивость модели к новым данным. Несмотря на то, что существуют методы, такие как Cost-Complexity Pruning (CCP) и Reduced Error Pruning (REP), они основываются на локальных принципах, которые могут привести к неоптимальным решениям в долгосрочной перспективе. Мы предлагаем использовать Multi-Armed Bandits (MAB)-методы, чтобы решить эту проблему, так как они предлагают динамический подход к принятию решений в процессе обучения модели. ## Метод Мы предлагаем использовать разумный подход к приведению модели к оптимальному состоянию, используя MAB для принятия решений о приближении к целевой форме. MAB – это тип алгоритма, основанный на принципе exploration-exploitation, который позволяет подобрать оптимальные решения в процессе исследования. Мы используем данный подход для принятия решений о том, какие ветви дерева решений следует удалить для достижения оптимального соотношения производительности и объяснимости. Мы применяем экспериментальное исследование, чтобы оценить эффективность этого подхода в сравнении с традиционными методами. Модель MAB-based pruning будет использоваться вместе с различными деревьями решений для оптимизации модели и повышения ее общей производительности. ## Результаты Мы проводили эксперименты на нескольких датасетах, включая датасеты стандартных бенчмарков, чтобы оценить эффективность нашего подхода. Мы сравнивали эффективность нашей реализации с традиционными методами, такими как CCP и REP. Наши результаты показали, что наш подход позволяет достичь более высокой оптимальности модели дерева решений, снизившей вероятность переобучения и улучшившей прогностическую модель. Это улучшение производительности во многом обусловлено динамическим принятием решений о приближении к оптимальной модели. Мы также проводили анализ времени работы, чтобы оценить эффективность нашего подхода в сравнении с традиционными. ## Значимость Наш подход имеет потенциал для применения в отраслях, где требуется улучшение моделей на основе деревьев решений, таких как финансы, медицина и индустрия. Этот подход может повысить точность прогноза и уменьшить ошибки, связанные с переобучением. Помимо этого, мы показали, что наша реализация является более эффективной