Enhancing Trust-Region Bayesian Optimization via Newton Methods

## Контекст Bayesian Optimization (BO) является эффективным подходом для оптимизации дорогостоящих черных-кассы функций, характеризующийся высокой семплированной эффективностью. Однако применение BO в высокомерных пространствах остается сложным из-за необходимости моделирования сложных целевых функций. Ранее предложенные методы, такие как TuRBO (Trust-Region Bayesian Optimization), используют локальные триггер-регионы для локального моделирования в суб-пространствах. Это позволяет избежать переуточнения и улучшить эффективность поиска. Однако у локальных Гауссовых процессов (GP) есть ограничения в семплировании, делая неэффективным работу в высокомерных пространствах. Наша мотивация заключается в развитии новых методов, которые сочетают локальное моделирование с высокой семплированной эффективностью в высокомерных пространствах. ## Метод Мы предлагаем новую модель, использующую глобальные Гауссовые процессы для построения локальных квадратичных моделей. На каждом шаге мы вычисляем градиенты и гессианы целевой функции в глобальном пространстве, а затем используем их для построения локальных моделей. Эти модели позволяют оптимизировать целевую функцию с помощью бунд-ограниченного квадратичного программирования. Эта модель позволяет улучшить семплирование, избежать переуточнения, и поддерживать модельные преимущества локальных GPs. Мы также разработали метод для обработки проблемы исчезающих градиентов в высокомерных пространствах, что дает повышенную точность в оптимизации. ## Результаты Мы проверили нашу модель на синтетических функциях и реальных задачах. Мы сравнили её с TuRBO и другими методами BO в высокомерных пространствах. Наши результаты показали, что производительность наших моделей значительно превышает TuRBO, даже при локальном моделировании. Мы также проанализировали влияние размера локальных триггер-регионов, стохастичности и других факторов на производительность. Наши результаты показали, что наш метод обеспечивает более точное моделирование и более эффективный поиск оптимума в высокомерных пространствах. ## Значимость Наш метод может применяться в различных областях, где требуется оптимизация дорогостоящих черных-кассы функций, например в научных исследованиях, инженерии, финансах и медицине. Он предоставляет преимущества в семплировании и моделировании, что делает его эффективным для high-dimensional optimization tasks. Мы считаем, что наш подход может повлиять на оптимизацию высокомерных функций, обеспечивая более точную и эффективную работу в сложных задачах. ## Выводы Мы предложили усовершенствованный подход к Trust-Region Bayesian Optimization, который использует