Preconditioned Regularized Wasserstein Proximal Sampling
2509.01685v1
stat.ML, cs.LG, math.OC, stat.CO, 65C05, 62G07
2025-09-05
Авторы:
Hong Ye Tan, Stanley Osher, Wuchen Li
Резюме на русском
## Контекст
Семплирование из Гиббсовых законов распределения широко применяется в различных областях, включая машинное обучение, графику и физические модели. Однако существуют значительные проблемы с эффективностью и точностью таких процессов, особенно при работе с нелинейными и негладкими потенциалами. Это приводит к необходимости развития новых методов, которые могли бы улучшить стабильность и точность семплирования. Наша мотивация заключается в исследовании новых алгоритмов, которые могли бы решить эти проблемы, в том числе предлагая новые аппроксимации и математические решения для улучшения семплирования.
## Метод
Мы предлагаем подсистему, основанную на preconditioned regularized Wasserstein proximal sampling. Основная идея заключается в использовании оптимизационного подхода, где мы используем нормализованный закон распределения, регулируемый регуляризатором. Это достигается при помощи Cole--Hopf-трансформации, которая позволяет связать кратковременные решения с градиентным потоком. Мы также предлагаем алгоритм, который использует аппроксимацию score function, полученной через регуляризацию градиента. Такой подход позволяет улучшить стабильность и точность семплирования, особенно в случае независимого от шага скорости сходимости.
## Результаты
Мы проводили эксперименты, используя различные лог-конкавые и не-лог-конкавые распределения, включая постановку задачи баYESianьных моделей и моделей с тренировкой нейросетей. Мы сравнивали наши результаты с существующими методами и показали, что наш метод показывает лучшую точность и стабильность. Также мы проверили эффективность нашего метода на задаче Bayesian Total-Variation Regularized Image Deconvolution. Наши результаты демонстрируют улучшение качества семплирования, особенно при использовании вариативных матриц преобразования.
## Значимость
Наш метод имеет широкие потенциальные применения в области машинного обучения, статистики и физических моделей. Он предлагает новую архитектуру для эффективного семплирования, что может позволить улучшить точность решений в задачах, где требуется использование Гиббсовых законов распределения. Это может привести к улучшению качества результатов в задачах обработки изображений, физики и других областях, где требуется эффективное семплирование.
## Выводы
Мы предложили новый подход к семплированию, основанный на preconditioned regularized Wasserstein proximal. Этот подход показал существенное улучшение стабильности и точности в сравнении с существующими методами. Мы также показали, что наш метод может быть применен в различных задачах, включая варианты с негладкими потенциалами и различными нейронными сетями. Будущие исследования будут сфокусиро
Abstract
We consider sampling from a Gibbs distribution by evolving finitely many
particles. We propose a preconditioned version of a recently proposed
noise-free sampling method, governed by approximating the score function with
the numerically tractable score of a regularized Wasserstein proximal operator.
This is derived by a Cole--Hopf transformation on coupled anisotropic heat
equations, yielding a kernel formulation for the preconditioned regularized
Wasserstein proximal. The diffusion component of the proposed method is also
interpreted as a modified self-attention block, as in transformer
architectures. For quadratic potentials, we provide a discrete-time
non-asymptotic convergence analysis and explicitly characterize the bias, which
is dependent on regularization and independent of step-size. Experiments
demonstrate acceleration and particle-level stability on various log-concave
and non-log-concave toy examples to Bayesian total-variation regularized image
deconvolution, and competitive/better performance on non-convex Bayesian neural
network training when utilizing variable preconditioning matrices.