Preconditioned Regularized Wasserstein Proximal Sampling

2509.01685v1 stat.ML, cs.LG, math.OC, stat.CO, 65C05, 62G07 2025-09-05
Авторы:

Hong Ye Tan, Stanley Osher, Wuchen Li

Резюме на русском

## Контекст Семплирование из Гиббсовых законов распределения широко применяется в различных областях, включая машинное обучение, графику и физические модели. Однако существуют значительные проблемы с эффективностью и точностью таких процессов, особенно при работе с нелинейными и негладкими потенциалами. Это приводит к необходимости развития новых методов, которые могли бы улучшить стабильность и точность семплирования. Наша мотивация заключается в исследовании новых алгоритмов, которые могли бы решить эти проблемы, в том числе предлагая новые аппроксимации и математические решения для улучшения семплирования. ## Метод Мы предлагаем подсистему, основанную на preconditioned regularized Wasserstein proximal sampling. Основная идея заключается в использовании оптимизационного подхода, где мы используем нормализованный закон распределения, регулируемый регуляризатором. Это достигается при помощи Cole--Hopf-трансформации, которая позволяет связать кратковременные решения с градиентным потоком. Мы также предлагаем алгоритм, который использует аппроксимацию score function, полученной через регуляризацию градиента. Такой подход позволяет улучшить стабильность и точность семплирования, особенно в случае независимого от шага скорости сходимости. ## Результаты Мы проводили эксперименты, используя различные лог-конкавые и не-лог-конкавые распределения, включая постановку задачи баYESianьных моделей и моделей с тренировкой нейросетей. Мы сравнивали наши результаты с существующими методами и показали, что наш метод показывает лучшую точность и стабильность. Также мы проверили эффективность нашего метода на задаче Bayesian Total-Variation Regularized Image Deconvolution. Наши результаты демонстрируют улучшение качества семплирования, особенно при использовании вариативных матриц преобразования. ## Значимость Наш метод имеет широкие потенциальные применения в области машинного обучения, статистики и физических моделей. Он предлагает новую архитектуру для эффективного семплирования, что может позволить улучшить точность решений в задачах, где требуется использование Гиббсовых законов распределения. Это может привести к улучшению качества результатов в задачах обработки изображений, физики и других областях, где требуется эффективное семплирование. ## Выводы Мы предложили новый подход к семплированию, основанный на preconditioned regularized Wasserstein proximal. Этот подход показал существенное улучшение стабильности и точности в сравнении с существующими методами. Мы также показали, что наш метод может быть применен в различных задачах, включая варианты с негладкими потенциалами и различными нейронными сетями. Будущие исследования будут сфокусиро

Abstract

We consider sampling from a Gibbs distribution by evolving finitely many particles. We propose a preconditioned version of a recently proposed noise-free sampling method, governed by approximating the score function with the numerically tractable score of a regularized Wasserstein proximal operator. This is derived by a Cole--Hopf transformation on coupled anisotropic heat equations, yielding a kernel formulation for the preconditioned regularized Wasserstein proximal. The diffusion component of the proposed method is also interpreted as a modified self-attention block, as in transformer architectures. For quadratic potentials, we provide a discrete-time non-asymptotic convergence analysis and explicitly characterize the bias, which is dependent on regularization and independent of step-size. Experiments demonstrate acceleration and particle-level stability on various log-concave and non-log-concave toy examples to Bayesian total-variation regularized image deconvolution, and competitive/better performance on non-convex Bayesian neural network training when utilizing variable preconditioning matrices.

Ссылки и действия