Enhancing Performance and Calibration in Quantile Hyperparameter Optimization

#### Контекст Область оптимизации гиперпараметров широко применяется в машинном обучении для поиска оптимальных настроек моделей. Одним из популярных подходов является Bayesian hyperparameter optimization, который использует Gaussian Process (GP) как суррогатную модель для оценки распределения функционального значения. Однако GP имеет ограничения: он становится менее эффективен при работе с категориальными гиперпараметрами или когда предположения о нормальности, гетероскедастичности и симметрии нижележащих распределений нарушаются. Другой подход, Conformalized Quantile Regression (CQR), может устранить эти проблемы, позволяя получать уверенные оценки и все же обеспечивая гарантии калибровки. В данной работе рассматривается усовершенствование CQR в структуре и функциональности, чтобы улучшить его применимость в современных задачах оптимизации гиперпараметров. #### Метод Данная работа расширяет существующие методы CQR, внедряя усовершенствованные алгоритмы для построения суррогатных моделей и выбора актуальных активационных функций. Архитектура следующая: сначала построить суррогатную модель на основе GP, а затем применить CQR для получения достоверных оценок. Для оптимизации используется новая метрика для актуализации поиска гиперпараметров с учетом feedback covariate shift. Эта новая структура позволяет использовать различные суррогатные модели и функции активации, что увеличивает гибкость и эффективность алгоритма. #### Результаты Проведены эксперименты на широком спектре задач и данных, включая задачи классификации, регрессии и задачи с категориальными гиперпараметрами. Набор данных включал большие и малые матрицы выборок, чтобы проверить работу метода в разных условиях. На тестах показаны выигрыши по производительности и калибровке по сравнению с традиционными методами, такими как GP, TPE (Tree-structured Parzen Estimator) и SMAC (Sequential Model-Based Optimization). Особенно заметные улучшения в случаях, когда GP становится менее эффективен из-за вызовов сильных предположений. #### Значимость Новый подход может быть применен в различных областях, таких как выбор моделей, выбор числа эпох в обучении, информационные системы рекомендаций и адаптивная оптимизация. Улучшенная калибровка и увеличение точности значений гиперпараметров могут привести к более эффективной и надежной работе моделей. Это может иметь потенциал для улучшения ролей гиперпараметров в широком круге задач машинного обучения. #### Выводы Предложенный подход показал существенные преимущества в производительности и калибровке по сравнению с традиционными методами. Наработки данной работы могут быть расширены в будущем путем исследования других суррогатных моделей и динамических