A hierarchical entropy method for the delocalization of bias in high-dimensional Langevin Monte Carlo

## Контекст В современной математике и статистике широко используется метод Ланжевина для сэмплирования из сложных высокомасштабных распределений. Однако этот метод имеет значительную ошибку в сэмплировании, которая увеличивается пропорционально размерности пространства в квадрате, измеряемой по расстоянию в числе Вассерштейна. Несмотря на это, в последнее время выявлена интересная структурная особенность: если распределение имеет спарсенные взаимосвязи, то ошибка сэмплирования зависит только от размерности самой спарсенной части. В рамках этого исследования мы расширяем это понятие, показывая, что подобная структурная особенность присутствует даже в случае слабых взаимосвязей, а не только в случае спарсенности. Таким образом, мы монтируем новые горизонты в понимании и улучшении качества сэмплирования при помощи теории высокомасштабных распределений. ## Метод Мы применяем метод Ланжевина в высокоразмерных пространствах с целью оценивать распределение данных. Наша методология основывается на новом подходе к расчету энтропии в разные масштабы. Ранее известный метод деллокализации ошибки был ограничен определенным классом распределений с сильными взаимосвязями. Мы расширяем его доступность, доказывая, что данный эффект действует и для слабых взаимосвязей. Мы используем новый анализ, основанный на рекурсивной работе с маргинальными распределениями, что позволяет доказать новые теоретические свойства метода Ланжевина в задачах сэмплирования спарсенных пространств. ## Результаты Мы проводим эксперименты на основе синтетических данных, которые подтверждают полученные результаты. Наши результаты показывают, что для распределений с сильными и слабыми взаимосвязями распределение не только имеет меньшую ошибку, но и распределяется более равномерно по размерности. Мы тестируем нашу новую методологию на разных классах распределений и показываем, что наш подход дает значительное улучшение по сравнению с ранее известными методами в задачах сэмплирования спарсенных пространств. ## Значимость Наша работа имеет практическое значение в области сэмплирования сложных высокомасштабных распределений, которые часто встречаются в машинном обучении и финансовых моделях. Новый подход позволяет улучшить точность и эффективность сэмплирования в случаях спарсенных распределений. Это открывает новые возможности для применения метода Ланжевина в сложных задачах, где ранее он был неэффективен из-за высокой размерности. Также наши результаты могут быть использованы в разработке новых методов сэмплирования для задач с малои