Bayesian Optimization with Expected Improvement: No Regret and the Choice of Incumbent

#### Контекст Байзианское оптимизационное подход (Bayesian Optimization, BO) широко применяется в сложных и высокомернопространственных задачах оптимизации. Особенно полезен при оптимизации неконстантных и негладких функций, для которых стандартные методы оптимизации неэффективны. Одним из ключевых элементов BO является аккредитование (acquisition) функция, которая регулирует поиск оптимального решения. Одной из наиболее популярных функций аккредитования является "ожидаемая улучшающая" (Expected Improvement, EI). Хотя EI доказана своей эффективностью в практических задачах, теоретические исследования её поведения в рамках нормальных гауссовских процессов (Gaussian Processes, GP) до сих пор остаются неполными. В частности, неизвестно, какова теоретическая сложность GP-EI в зависимости от выбора инкубента (best value). В этой работе мы исследуем три распространенных варианта выбора инкубента: лучшая оценка среднего (Best Posterior Mean Incumbent, BPMI), лучшая оценка сэмплированного среднего (Best Sampled Posterior Mean Incumbent, BSPMI) и лучшая наблюдаемая оценка (Best Observation Incumbent, BOI). #### Метод Мы рассматриваем традиционный шумный гауссовский процесс Expected Improvement (GP-EI) в байзианской модели, где целевая функция является выборкой из гауссовского процесса. Для каждого из выбранных инкубентов мы разрабатываем теоретические теории, описывающие поведение GP-EI. Основные технические сложности заключаются в: 1. Анализе функции EI для гауссовских процессов с шумом. 2. Изучении взаимосвязи между выбором инкубента и поведением GP-EI. 3. Разработке новых технических решений для получения теоретических границ регрета. Мы используем математические методы, включая обратные матричные операции, анализ гауссовских процессов и анализ размерности, чтобы получить теоретические границы регрета. #### Результаты Мы получаем новые теоретические результаты: 1. Для BPMI и BSPMI GP-EI является "no-regret" алгоритмом для указанных типов гауссовских процессов (SE и Matérn). 2. Для BOI GP-EI демонстрирует скорость сходимости регрета, либо достигает подлинейных границ регрета, в зависимости от типа гауссовского процесса. 3. Мы доказываем, что выбор инкубента имеет значительное влияние на поведение GP-EI и теоретическую сложность решения. #### Значимость Наша работа имеет значительное значение в следующих областях: 1. Оптимизация сложных функций в приложениях, таких как управление системами, оптимизация технологий и адаптивные эксперименты. 2. Изучение теоретических границ широко распространенных методов BO. 3. Поддержка практичес