Likelihood Matching for Diffusion Models

########################## ## Контекст ########################## В последние годы diffusion models стали популярными в области генерируемых моделей данных. Эти модели основываются на процессе диффузии, во время которого данные постепенно изменяются по некоторой заранее заданной схеме. Тем не менее, одной из проблем этих моделей является сложность точного вычисления логарифмической вероятности данных. Этот фактор существенно влияет на качество генерируемых данных. Многие существующие подходы пытаются увеличить логарифмическую вероятность с помощью сложных методов оптимизации, которые не всегда эффективны. В этой статье мы предлагаем Likelihood Matching, подход, который стремится улучшить точность генерируемых моделей, учитывая наиболее важные аспекты диффузионного процесса. ########################## ## Метод ########################## Предложенный подход Likelihood Matching основывается на построении эквивалентного отношения между логарифмической вероятностью целевого распределения данных и логарифмической вероятностью значений, полученных в процессе обратного диффузионного процесса. Для того, чтобы эффективно вычислять вероятности в обратном процессе, мы предлагаем использовать аппроксимацию каждого шага обратного процесса гауссовской распределения, в которой среднее и ковариация соответствуют условиям точного решения для данного шага. Мы также разработали метод оценки score и Hessian функций, который основывается на максимизации этой аппроксимации логарифмической вероятности. Это позволяет нам получать точные оценки для генерации данных. Для повышения эффективности вычислений мы ввели стохастический сэмплер, который использует оценки score и Hessian для вычисления шага диффузии. ########################## ## Результаты ########################## Мы проверили эффективность нашего подхода с помощью нескольких экспериментов на различных датасетах. Для этого мы сравнили Likelihood Matching с существующими подходами на различных метриках качества, таких как log-likelihood, PSNR и FID. Наши результаты показали, что Likelihood Matching показывает значительное улучшение качества генерируемых данных по сравнению с другими методами, особенно в сложных сценариях с более высоким числом шагов диффузии. Кроме того, мы проверили скорость сходимости процесса и его устойчивость в зависимости от размерности данных и длины диффузионного процесса. ########################## ## Значимость ########################## Наш подход имеет большое значение для различных приложений, таких как видеогенерация, изображение генерации и синтез речи. Likelihood Matching предлагает более точное и эффективное средство для обучения моделей, что может привести к более качественным генерируемым данным. Благодаря своей эффективности и универсальности, этот подход может быть использован в раз