Dynamic Design of Machine Learning Pipelines via Metalearning

#### Контекст Современные методы автоматизации машинного обучения (AutoML) позволили существенно сузить пробел между профессиональными и непрофессиональными пользователями в области машинного обучения. Они автоматизируют процессы выбора моделей, оптимизации гиперпараметров и инжиниринга признаков. Однако существуют значительные проблемы, такие как высокая вычислительная стоимость при использовании стандартных стратегий поиска и оптимизации, таких как Random Search, Particle Swarm Optimization и Bayesian Optimization. Эти методы часто требуют огромных ресурсов и могут привести к переобучению, особенно когда AutoML-системы исследуют большой поисковый пространств. Эта ситуация подчеркивает необходимость разработки методов, способных эффективно сузить поисковый пространство и уменьшить вычислительные затраты. #### Метод В данной работе предлагается метод мета-обучения (metalearning) для динамического дизайна поисковых пространств в AutoML-системах. Метод использует исторические знания (metaknowledge), полученные из предыдущих задач, для выбора наиболее перспективных регионов поискового пространства. Это позволяет сузить пространство и ускорить оптимизацию. Метод основывается на мета-функциональной оценке, которая помогает определить ключевые характеристики поисковых пространств. Эта архитектура обеспечивает динамическую адаптацию системы к уникальным характеристикам новых задач. Таким образом, AutoML может эффективно избегать переобучения и сократить вычислительные затраты. #### Результаты В экспериментах проводился сравнительный анализ предлагаемого метода с традиционными подходами, такими как Random Search. На тестовых наборах данных был оценен время выполнения, размер поискового пространства и точность предсказаний. Результаты показали, что предлагаемый метод уменьшил время работы Random Search на 89% и сузил поисковое пространство на 70% для препроцессоров (1.8 из 13) и на 58% для классификаторов (4.3 из 16). Это было достигнуто без значительного снижения качества предсказаний. Эксперименты также показали, что метод может эффективно адаптироваться к системе Auto-Sklearn, сузив поисковое пространство и улучшив производительность. #### Значимость Предложенный метод имеет широкие области применения в автоматизированном машинном обучении, в частности в области динамического оптимизации поисковых пространств. Основные преимущества включают уменьшение вычислительных затрат, уменьшение риска переобучения и улучшение эффективности автоматизированных систем AutoML. В будущем можно рассмотреть расширение метода для работы с более сложными задачами, такими как регрессия и рекомендательные системы. Это может сделать AutoML-системы более доступ