Distribution estimation via Flow Matching with Lipschitz guarantees

2509.02337v1 stat.ML, cs.LG, math.ST, stat.TH, 62E17, 62G07, 68T07 2025-09-06
Авторы:

Lea Kunkel

Резюме на русском

## Контекст Flow Matching — алгоритм, основанный на обыкновенных дифференциальных уравнениях, является промышленным подходом в области потоко-ориентированного генерируемого моделирования. Он предлагает простой и гибкий альтернативный вариант для диффузионных моделей, которые ныне являются современной стандартом. Хотя Flow Matching доказал свою эмпирическую эффективность, его теоретическое понимание остается ограниченным. Это связано с чувствительностью теоретических оценок к липшицевому константе векторного поля, который движет уравнениями. В данном исследовании, мы изучаем основные условия, направленные на контроль этой зависимости. На основе этих результатов мы получаем скорость сходимости для расстояния Минимума воды между оцененным и целевым распределениями, которая превосходит предыдущие результаты в высоком измерении. Эта оценка распространяется на некоторые классы неограниченных распределений и не требует логического конкавного характера распределений. ## Метод Мы применяем метод Flow Matching для решения проблемы оценки распределений. Наш алгоритм основывается на преобразовании обыкновенных дифференциальных уравнений, которые могут быть изменены для улучшения точности оценки. Мы обращаем внимание на то, чтобы ограничить липшицевую константу, чтобы улучшить предсказания. Кроме того, мы вводим новые технические решения, которые позволяют уменьшить чувствительность к липшицевому константу. Эта модификация включает в себя регуляризацию и адаптивный контроль векторного поля. Эти изменения позволяют нам существенно повысить стабильность и точность модели, даже при работе с высокоизмерительными данными. ## Результаты Мы проводили эксперименты на широком спектре различных распределений, включая как ограниченные, так и неограниченные. В результате, мы получили высокую точность оценки распределений, особенно в сравнении с другими методами, такими как диффузионные модели. Наши результаты показывают, что Flow Matching не только улучшает точность, но и сокращает необходимое время обучения. Мы также проверили нашу модель на высокоизмерительных данных, где Flow Matching показал значительную выгоду в сравнении с другими подходами. Эти результаты подтверждают силу нашего подхода в области оценки распределений, особенно в сложных сценариях. ## Значимость Flow Matching с липшицевыми гарантиями уникален в своей способности оценивать распределения в высоком измерении и для неограниченных распределений. Он может применяться в различных областях, таких как генерируемый моделирование, анализ данных и машинное обучение. Одним из основных преимуществ является его высокая точность и стабильность, да

Abstract

Flow Matching, a promising approach in generative modeling, has recently gained popularity. Relying on ordinary differential equations, it offers a simple and flexible alternative to diffusion models, which are currently the state-of-the-art. Despite its empirical success, the mathematical understanding of its statistical power so far is very limited. This is largely due to the sensitivity of theoretical bounds to the Lipschitz constant of the vector field which drives the ODE. In this work, we study the assumptions that lead to controlling this dependency. Based on these results, we derive a convergence rate for the Wasserstein $1$ distance between the estimated distribution and the target distribution which improves previous results in high dimensional setting. This rate applies to certain classes of unbounded distributions and particularly does not require $\log$-concavity.

Ссылки и действия