A Gradient Flow Approach to Solving Inverse Problems with Latent Diffusion Models

## Контекст Поиск решений для задач неоднозначного инверсии является ключевым вопросом в математической и прикладной математике, а также в областях, таких как инженерия, физика и биология. Эти задачи часто требуют нахождения скрытых параметров или характеристик системы на основе неполных или шумных наблюдений. Одним из основных препятствий является отсутствие эффективных закономерностей или предварительных знаний, которые могли бы облегчить решение. Несмотря на некоторые успехи, существуют значительные трудности в создании универсальных и гибких моделей, способных адаптироваться к различным типам задач и иметь высокую точность. Недавно появилось интерес к использованию глубоких нейронных сетей, особенно сверточных моделей, для решения таких задач. Однако, эти модели часто требуют большого количества данных для обучения и требуют значительных вычислительных ресурсов. Многие из них также не являются универсальными и требуют переобучения для каждой конкретной задачи. В этом исследовании рассматривается новая подходная модель, основанная на теории градиентных потоков, которая предлагает новый подход к решению этой проблемы. ## Метод В этой работе предлагается новая методология, названная Diffusion-regularized Wasserstein Gradient Flow (DWGF), для решения задач неоднозначного инверсии. Основная теоретическая основа заключается в формализме градиентного потока в латентном пространстве, который использует предобученную модель стиса стиса стиса (StableDiffusion) в качестве модели предложения. Данная модель градиентного потока построена на основе Kullback-Leibler (KL) дивергенции в латентном пространстве. Для реализации DWGF используется архитектура, состоящая из нескольких ключевых элементов. Во-первых, используется предобученная модель StableDiffusion для генерации латентных пространств. Во-вторых, вводится новая операция регуляризации, которая позволяет оптимизировать решения с учетом заданных ограничений. В-третьих, используется метод регулярного градиентного потока, который позволяет стабилизировать решение и избежать локальных минимумов. Эта модель является тренировочно-свободной, что означает, что она не требует дополнительного обучения для каждой конкретной задачи. Вместо этого она использует существующую модель StableDiffusion и адаптирует ее к новой задаче с помощью градиентного потока. Это уникальное решение позволяет эффективно решать задачи неоднозначного инверсии с меньшим вычислительным вкладом и более высокой точностью. ## Результаты Для оценки эффективности DWGF были проведены эксперименты на стандартных бенчмарках, используя StableDiffusion в качестве модели предло