Energy-Weighted Flow Matching: Unlocking Continuous Normalizing Flows for Efficient and Scalable Boltzmann Sampling

2509.03726v1 stat.ML, cs.LG 2025-09-06
Авторы:

Niclas Dern, Lennart Redl, Sebastian Pfister, Marcel Kollovieh, David Lüdke, Stephan Günnemann

Резюме на русском

## Контекст Boltzmann-распределения широко используются в различных научных областях, включая физику, химию и биологию, для описания систем с множеством степеней свободы. Однако, сэмплинг из таких распределений, особенно в высокомерных пространствах, представляется вызовом из-за сложности энергетических ландшафтов. Существующие подходы, такие как генеративные модели и методы типа Metropolis-Hastings, либо требуют больших объемов выборочных данных, либо ограничиваются локальными оптимизациями, не полностью использующими выразительную силу современных архитектур, таких как Continuous Normalizing Flows (CNF). Этот факт подчеркивает необходимость развития эффективных и скейлируемых методов для точного сэмплинга в высокомерных системах. ## Метод Мы предлагаем **Energy-Weighted Flow Matching (EWFM)**, новую методологию для сэмплинга из Boltzmann-распределений $\mu_{\text{target}}(x) \propto \exp(-E(x)/T)$ с помощью Continuous Normalizing Flows. Целью EWFM является устранение необходимости в больших выборках, используя только энергетические оценки. Основная идея заключается в переформулировке задачи условного flow matching через импортс-сэмплинг, что позволяет применять произвольные распределения-предложения в качестве процесса обучения. Для улучшения удобочитаемости и эффективности мы разрабатываем два алгоритма: **итеративный EWFM (iEWFM)**, который прогрессивно улучшает предложения в процессе обучения, и **анелированный EWFM (aEWFM)**, который включает аннелирование температуры для сложных энергетических ландшафтов. ## Результаты Мы проверяем EWFM на нескольких системах, включая 55-узловые кластеры Lennard-Jones. Наши результаты показывают, что метод EWFM демонстрирует высокую точность сэмплинга, подходящую за стандартными подходами, но с потреблением до 1000 раз меньше вычислительных ресурсов. Особенно заметен эффект на сложных ландшафтах энергии, где алгоритмы EWFM показывают существенное преимущество в скорости и точности. Эти результаты подтверждают высокую эффективность EWFM в области моделирования высокомерных систем. ## Значимость Предложенный подход имеет значительное значение в многочисленных областях, включая молекулярное моделирование, теорию графов и генетическое кодирование. Он позволяет избежать ограничений существующих методов, обеспечивая более точное и стремительное сэмплирование. Это не только повышает эффективность вычислений, но и расширяет возможности в области высокопроизводительных вычислений. ## Выводы Мы представляем EWFM — новый подход к сэмплингу из Boltzmann-распределений с помощью Continuous Normalizing Flows. Он успешно решает проблемы эф

Abstract

Sampling from unnormalized target distributions, e.g. Boltzmann distributions $\mu_{\text{target}}(x) \propto \exp(-E(x)/T)$, is fundamental to many scientific applications yet computationally challenging due to complex, high-dimensional energy landscapes. Existing approaches applying modern generative models to Boltzmann distributions either require large datasets of samples drawn from the target distribution or, when using only energy evaluations for training, cannot efficiently leverage the expressivity of advanced architectures like continuous normalizing flows that have shown promise for molecular sampling. To address these shortcomings, we introduce Energy-Weighted Flow Matching (EWFM), a novel training objective enabling continuous normalizing flows to model Boltzmann distributions using only energy function evaluations. Our objective reformulates conditional flow matching via importance sampling, allowing training with samples from arbitrary proposal distributions. Based on this objective, we develop two algorithms: iterative EWFM (iEWFM), which progressively refines proposals through iterative training, and annealed EWFM (aEWFM), which additionally incorporates temperature annealing for challenging energy landscapes. On benchmark systems, including challenging 55-particle Lennard-Jones clusters, our algorithms demonstrate sample quality competitive with state-of-the-art energy-only methods while requiring up to three orders of magnitude fewer energy evaluations.

Ссылки и действия