MOCA-HESP: Meta High-dimensional Bayesian Optimization for Combinatorial and Mixed Spaces via Hyper-ellipsoid Partitioning

## Контекст В последние годы внимание сообщества расширилось на область градиентно-свободной оптимизации в высокомерных пространствах, так как она находит применение в различных сферах, таких как машинное обучение, экономика и технологии. Однако, существующие методы BO значительно ограничены, так как они привязаны к оптимизации в пространствах последовательностей или в пространствах, состоящих из числовых переменных. Недостаток методов BO в области бинарных, категориальных и смешанных переменных является главной проблемой, которая еще не удалось решить. Многие предыдущие исследования сталкиваются с проблемами, такими как ограниченная скорость оптимизации, неэффективность в высокомерных пространствах и трудности в обработке смешанных типов данных. Эти проблемы требуют разработки новых методов, которые могли бы эффективно работать в пространствах с высокой размерностью и комбинаторными переменными. ## Метод Метод MOCA-HESP (Meta-Algorithm for Combinatorial and Mixed Spaces via Hyper-Ellipsoid Partitioning) представляет собой новый подход к высокомерной оптимизации, который использует гипер-эллипсоидные функции для деления пространства. Он использует различные техники кодирования категориальных переменных для работы с высокомерными пространствами, включая категориальные, бинарные и смешанные переменные. Особенностью этого подхода является использование метода выбора лучшего оптимизатора с использованием мульти-арми Bandit, который позволяет точно выбирать оптимальные параметры для работы в каждом конкретном случае. Таким образом, этот метод может адаптироваться к различным типам пространств и их структурам. Также, MOCA-HESP является мета-алгоритмом, который может быть интегрирован с другими методами BO для улучшения их производительности в комбинаторных и смешанных пространствах. ## Результаты Для оценки производительности MOCA-HESP на тестовой выборке были проведены эксперименты на как синтетических, так и на реальных данных. Для синтетических данных были использованы различные модели, включая модель с несколькими входами и выходами, а для реальных данных — данные из различных приложений, таких как задачи поиска и задачи логистики. Наши результаты показали, что MOCA-HESP существенно превосходит существующие методы BO в скорости оптимизации, точности и эффективности в работе с смешанными пространствами. Также были проведены сравнительные тесты с такими методами, как Standard BO, CASMOPOLITAN и Bounce, которые подтвердили высокую эффективность MOCA-HESP в работе с высокомерными пространствами. ## Значимость Этот метод может быть применен в различных областях, таких как машинное обучение, анализ данных, проектирование систем, виртуализация и другие сферы