In-Context Decision Making for Optimizing Complex AutoML Pipelines

## Контекст Современные машинное обучение (ML) представляют собой набор сложных пайплайнов, включающих такие этапы, как выбор алгоритмов, оптимизация гиперпараметров, оверфиттинг, предварительно обученные модели и кластеризация. Традиционные инструменты AutoML, ориентированные на упрощение процесса выбора и оптимизации моделей (Combined Algorithm Selection and Hyperparameter Optimization, CASH), стали недостаточными для решения этих задач. Требуется новое подход к оптимизации пайплайнов, который может принимать во внимание их хетерогенность и многоуровневость. Данная работа адресует эти проблемы, предлагая расширенный подход к CASH, который может эффективно адаптировать и оптимизировать современные ML-пайплайны. ## Метод Предлагаемый подход, названный PS-PFN (Posterior Sampling with Prior-Fitted Networks), является расширением стратегии Posterior Sampling (PS) в контексте max-k-armed bandit problem. PS-PFN использует PFNs (Prior-Fitted Networks) для эффективного вычисления параметров постериорного распределения максимального значения, что позволяет принимать решения в контексте полученных данных. Этот подход может применяться для разных ML-пайплайнов, принимая во внимание различные затраты на выполнение каждого этапа. Более того, PS-PFN может использовать разные PFNs для моделирования разных распределений наград на каждой итерации. Эта гибкость позволяет адаптироваться к разным типам задач и пайплайнов. ## Результаты Исследования проводились на одном новом и двух существующих бенчмарк-задачах. Сравнительные эксперименты показали, что PS-PFN превосходит другие методы AutoML и bandit-based, особенно в случае задач с большим количеством шагов и разнообразием моделей. Эксперименты с разными наборами данных и пайплайнами показали, что PS-PFN может эффективно принимать решения, адаптируясь к различным условиям задач. Результаты демонстрируют, что PS-PFN может эффективно использовать ранее полученные данные для точного оценивания и построения политик оптимизации. ## Значимость Предлагаемый подход может применяться во многих областях, где требуется оптимизация сложных ML-пайплайнов, таких как кредитный анализ, медицина и текстовой классификации. Наглядного приложения PS-PFN можно видеть в сценариях, где необходимо быстро адаптироваться к отсутствию данных или разным затратам на выполнение каждого этапа пайплайна. Этот подход позволяет увеличить эффективность и точность автоматизированных систем, сократить время разработки и снизить затраты на реализацию ML-решений. ## Выводы Результаты доказывают, что PS-PFN является эффективным методом для оптимизации сложных ML-пайплайнов. Он может хорошо справляться с разнообразием задач и пайплайнов, принимая во внимание различные затраты и характеристики ка