Scalable Neural Network-based Blackbox Optimization

#### Контекст Область blackbox optimization (BBO) — это набор методов, применяемых для решения задач оптимизации в ситуациях, когда функция целевого функционала недоступна в виде аналитического выражения. Эти задачи часто возникают в приложениях инженерии, анализе данных и машинном обучении. Одним из популярных подходов к решению BBO является Bayesian Optimization (BO), который использует Gaussian Process (GP) модель и acquisition function для уточнения следующих точек оптимизации. Однако BO имеет серьезные ограничения в высоком измерении и при большом количестве оценок функции, что делает его медленным и вычислительно трудоемким. Другой подход к решению BBO заключается в использовании neural networks (NNs). ННы могут хорошо справляться с высоким измерением и позволяют более эффективно масштабироваться. Однако одной из проблем применения НН к BO является необходимость оценивать неуверенность в предсказаниях НН, что может быть дорогостоящим и сложным в высоких измерениях. Данная работа фокусируется на разработке метода, который решает эти проблемы без необходимости оценивать неуверенность в предсказаниях НН. #### Метод Предлагаемый метод, называемый Scalable Neural Network-based Blackbox Optimization (SNBO), основывается на применении NNs для решения BBO, но не затрудняется вычислительной сложностью оценки неуверенности. SNBO использует отдельные критерии для exploration и exploitation на каждом шаге оптимизации. Эти критерии позволяют эффективно исследовать новые области поиска и продолжать уточнять решение в уже изученных областях. Для управления размером sampling region, SNBO применяет адаптивный подход, который позволяет ограничивать область поиска при необходимости. Этот подход позволяет минимизировать необходимое количество оценок функции для достижения хорошего решения. SNBO использует NNs для моделирования функции целевого функционала и для точной оценки точек оптимизации, что делает его более эффективным по сравнению с BO. #### Результаты Исследования проводились на многочисленных задачах BBO, состоящих из пространств из 10 до 102 измерений. На каждой задаче SNBO сравнивался с четырьмя современными бейзлайн-методами: EI (Expected Improvement), PI (Probability of Improvement), GP-UCB (Gaussian Process Upper Confidence Bound) и Random Search. Результаты показали, что SNBO приводит к значительному улучшению в качестве решения (function values) по сравнению с бейзлайнами. В среднем, SNBO получает лучшие результаты с точностью 40-60% по сравнению с лучшим из бейзлайнов. Более того, SNBO потребовал 40-60% меньше функциональных оценок для достижения лучшего решения. Это привело к серьезному снижению времени работы, которое составляло в разы меньше, чем у бейзлайнов. Эти результаты подтверждают сильное преимущество SNBO в скорости и эффективности в высоких измерениях. #### Значимо