Global Optimization of Stochastic Black-Box Functions with Arbitrary Noise Distributions using Wilson Score Kernel Density Estimation
2509.09238v1
stat.ML, cs.LG, cs.RO
2025-09-13
Авторы:
Thorbjørn Mosekjær Iversen, Lars Carøe Sørensen, Simon Faarvang Mathiesen, Henrik Gordon Petersen
Резюме на русском
## Контекст
Поиск оптимальных решений во многих областях робототехники требует оптимизации сложных, временнодорогих функций, которые часто описываются через стохастические модели. Эти функции, называемые "черновыми", не имеют прямых выражений, а требуют экспериментального измерения или симуляции. Добавленная стохастичность из-за неизмеримых разбросов в реальных условиях делает такую оптимизацию вызовом. Байесовская оптимизация предлагает эффективный подход, используя модель вероятности для оценки функции. Несмотря на это, её эффективность определяется качеством оценок доверительных интервалов, формируемых при помощи функционального оценивания.
## Метод
Для решения этой проблемы предлагается использовать Wilson Score Kernel Density Estimation (WS-KDE), который обеспечивает надежные доверительные интервалы для любой стохастической функции, имеющей выход в диапазоне [0;1]. Техника основывается на подходах к вычислению доверительных интервалов Уилсона и технике оценки плотности KDE. Эта комбинация позволяет удачно использовать WS-KDE в качестве рабочей модели для оценки доверительных интервалов в стохастических задачах оптимизации.
## Результаты
В ходе экспериментов показано, что WS-KDE не только обеспечивает точные оценки доверительных интервалов, но также демонстрирует высокую стабильность при работе с различными стохастическими задачами. Набор экспериментальных данных, включающий моделирование симуляций и реальных экспериментов с вибрационными питательными устройствами, подтверждает эффективность WS-KDE в глобальной оптимизации таких задач.
## Значимость
Полученный подход имеет широкие применения в робототехнике, где необходима оптимизация затратных временем и сложных симуляционных моделей. WS-KDE позволяет достичь более качественной оптимизации за счёт точных оценок доверительных интервалов, не зависящих от распределения функции вывода. Также, применимость к различным сценариям демонстрируется на задаче автоматизированного проектирования ловушек для вибрационных питательных устройств.
## Выводы
Результаты демонстрируют перспективу применения WS-KDE в байесовской оптимизации, в том числе для сложных и стохастических задач. Будущие исследования могут сфокусироваться на расширении WS-KDE на адаптивные модели, чтобы улучшить эффективность и обеспечить более гибкие оптимизационные стратегии в различных приложениях.
Abstract
Many optimization problems in robotics involve the optimization of
time-expensive black-box functions, such as those involving complex simulations
or evaluation of real-world experiments. Furthermore, these functions are often
stochastic as repeated experiments are subject to unmeasurable disturbances.
Bayesian optimization can be used to optimize such methods in an efficient
manner by deploying a probabilistic function estimator to estimate with a given
confidence so that regions of the search space can be pruned away.
Consequently, the success of the Bayesian optimization depends on the function
estimator's ability to provide informative confidence bounds. Existing function
estimators require many function evaluations to infer the underlying confidence
or depend on modeling of the disturbances. In this paper, it is shown that the
confidence bounds provided by the Wilson Score Kernel Density Estimator
(WS-KDE) are applicable as excellent bounds to any stochastic function with an
output confined to the closed interval [0;1] regardless of the distribution of
the output. This finding opens up the use of WS-KDE for stable global
optimization on a wider range of cost functions. The properties of WS-KDE in
the context of Bayesian optimization are demonstrated in simulation and applied
to the problem of automated trap design for vibrational part feeders.
Ссылки и действия
Дополнительные ресурсы: