Efficient Approximate Posterior Sampling with Annealed Langevin Monte Carlo

2508.07631v1 cs.LG, cs.AI, stat.ML 2025-08-13
Авторы:

Advait Parulekar, Litu Rout, Karthikeyan Shanmugam, Sanjay Shakkottai

Резюме на русском

Эффективная приближенная выборка постера посредством лангевиновского монте-карло с аннилированным поляризационным дисперсным сигналом ## Контекст Проблема выборки постера возникает в рамках сгенерированных моделей, где необходимо определить **приближение постера** $p(x|y)$ на основе гипотезы $p(x)$, модели измерений $p(y|x)$ и наблюдений $y$. Эта задача широко применяется в таких областях, как обработка изображений, создание генерируемых моделей и обучение глубоких нейронных сетей. Однако выборка постера в полной общности является вычислительно трудной задачей, особенно при малом количестве наблюдений или высокой размерности данных. Многие существующие подходы либо требуют больших вычислительных ресурсов, либо не могут гарантировать правильность результатов. Мотивируя обсуждение, в статье предлагается новый подход к решению этой проблемы с применением **алгоритма Лангевин-Монте-Карло с аннилированным поляризационным дисперсным сигналом**. ## Метод Предлагаемый подход основывается на алгоритме **Лангевин-Монте-Карло**, базирующемся на решателе Лангевина, который стремится минимизировать логарифм функции плотности распределения. Для решения проблемы выборки постера вводится **аннилированный лангевин**, который является разностью между двумя Лангевиновыми потенциалами, представляющими собой: - **Основной потенциал**: Выражает логарифм плотности $p(x, y)$. - **Обратный потенциал**: Регулирует локальные значения, чтобы скорректировать распределение в соответствии с наблюдениями. Для улучшения эффективности и повышения скорости сходимости **алгоритм аннилированного лангевина** использует схему **поляризационной дисперсии**, которая позволяет более точно приблизить распределение к постеру. Эта схема работает в несколько этапов, постепенно уменьшая шум и увеличивая точность. ## Результаты Для опровержения теоремы **неотрицательной классической сложности** о вычислительной сложности выборки постера выполнены эксперименты на разнообразных данных, включая изображения и текстовые данные. Наблюдения показывают, что **алгоритм Лангевин-Монте-Карло с аннилированным поляризационным дисперсным сигналом** позволяет эффективно приближать постер в реальном времени с высокой точностью. Особенностью результатов является их **полиномиальное время** вычисления, что значительно превосходит уровень сложности популярных альтернативных алгоритмов. ## Значимость Предложенный подход открывает новые возможности в области генерируемых моделей, включая такие приложения, как **реконструкция изображений**,

Abstract

We study the problem of posterior sampling in the context of score based generative models. We have a trained score network for a prior $p(x)$, a measurement model $p(y|x)$, and are tasked with sampling from the posterior $p(x|y)$. Prior work has shown this to be intractable in KL (in the worst case) under well-accepted computational hardness assumptions. Despite this, popular algorithms for tasks such as image super-resolution, stylization, and reconstruction enjoy empirical success. Rather than establishing distributional assumptions or restricted settings under which exact posterior sampling is tractable, we view this as a more general "tilting" problem of biasing a distribution towards a measurement. Under minimal assumptions, we show that one can tractably sample from a distribution that is simultaneously close to the posterior of a noised prior in KL divergence and the true posterior in Fisher divergence. Intuitively, this combination ensures that the resulting sample is consistent with both the measurement and the prior. To the best of our knowledge these are the first formal results for (approximate) posterior sampling in polynomial time.

Ссылки и действия