BOOST: Bayesian Optimization with Optimal Kernel and Acquisition Function Selection Technique
2508.02332v1
cs.LG, stat.ML
2025-08-09
Авторы:
Joon-Hyun Park, Mujin Cheon, Dong-Yeun Koh
Резюме на русском
#### Контекст
Bayesian Optimization (BO) является высокоэффективным методом для решения задач с дорогостоящими блэк-бокс-оптимизациями. Однако его производительность сильно зависит от правильного выбора гиперпараметров, таких как функции потерь и аккумуляторные функции. Неправильный выбор может привести к неэффективности и расточительному потреблению оценок. Несмотря на то, что отдельные улучшения в функциях потерь (например, деревовые модели, глубокое настройщие моделей) и аккумуляторные функции (например, многошаговые поисковые запросы, планировщики на основе дерева) были рассмотрены, автоматическое и систематическое выделение наиболее подходящей пары остается практически нераскрытой областью. Это приводит к затруднениям для практиков, которые должны полагаться на хитрости или ручную настройку. Мы предлагаем фреймворк BOOST (Bayesian Optimization with Optimal Kernel and Acquisition Function Selection Technique), который автоматизирует выбор наиболее эффективной пары гиперпараметров.
#### Метод
BOOST работает следующим образом: он разделяет имеющиеся данные на два подмножества — справочное и запросное. Затем он рассматривает все возможные комбинации гиперпараметров (функции потерь и аккумуляторных функций), выбранных пользователем, и проводит внутренние циклы BO на справочном подмножестве. Эти циклы используются для оценки того, насколько каждая комбинация гиперпараметров позволяет эффективно распространяться в неизвестном запросном подмножестве. Этот процесс позволяет выбрать наиболее эффективную комбинацию гиперпараметров, обеспечивая предварительную оценку их характеристик, без необходимости дорогостоящих оптимизационных тестов.
#### Результаты
Мы провели эксперименты, используя как синтетические функции, так и реальные задачи оптимизации гиперпараметров. BOOST показал существенное превосходство по сравнению с стандартным BO, использующим фиксированные гиперпараметры. Он продемонстрировал высокую эффективность и устойчивость в различных ситуациях, включая задачи с высокой разностью и неоднородностью. Эксперименты показали, что BOOST не только существенно улучшает полученные результаты, но и экономит вычислительные ресурсы, снижая необходимость в ручной настройке.
#### Значимость
BOOST может быть применен в большинстве задач, где используется BO, включая оптимизацию гиперпараметров в глубоких нейросетевых моделях, оптимизацию экспериментов в научных исследованиях и оптимизацию производственных процессов. Он предлагает ключевые преимущества, такие как автоматизированный выбор гиперпараметров, уменьшение числа необходимых оценок и увеличение э
Abstract
The performance of Bayesian optimization (BO), a highly sample-efficient
method for expensive black-box problems, is critically governed by the
selection of its hyperparameters, including the kernel and acquisition
functions. This presents a challenge: an inappropriate combination of these can
lead to poor performance and wasted evaluations. While individual improvements
to kernel functions (e.g., tree-based kernels, deep kernel learning) and
acquisition functions (e.g., multi-step lookahead, tree-based planning) have
been explored, the joint and autonomous selection of the best pair of these
fundamental hyperparameters has been overlooked. This forces practitioners to
rely on heuristics or costly manual training. We propose a simple yet effective
framework, BOOST (Bayesian Optimization with Optimal Kernel and Acquisition
Function Selection Technique), that automates this selection. BOOST utilizes a
lightweight, offline evaluation stage to predict the performance of various
kernel-acquisition function pairs and identify the most suitable configuration
before expensive evaluations. BOOST partitions data-in-hand into two subsets: a
reference subset and a query subset, and it prepares all possible
kernel-acquisition pairs from the user's chosen candidates. For each
configuration, BOOST conducts internal BO runs using the reference subset,
evaluating how effectively each pair guides the search toward the optimum in
the unknown query subset, thereby identifying the configuration with the best
retrospective performance for future optimization. Experiments on both
synthetic benchmark functions and real-world hyperparameter optimization tasks
demonstrate that BOOST consistently outperforms standard BO approaches with
fixed hyperparameters, highlighting its effectiveness and robustness in diverse
problem landscapes.
Ссылки и действия
Дополнительные ресурсы: