A Non-Asymptotic Convergent Analysis for Scored-Based Graph Generative Model via a System of Stochastic Differential Equations
2508.14351v1
cs.LG, stat.ML
2025-08-22
Авторы:
Junwei Su, Chuan Wu
Резюме на русском
## Контекст
Score-based graph generative models (SGGMs) являются мощными инструментами в области генетического моделирования, применяющиеся в таких критически важных задачах, как синтез белков и открытие лекарств. Их уникальность заключается в том, что они используют систему коррелированных стохастических дифференциальных уравнений (SDE) для генерирования графов, включая их структуру и характеристики вершин. Это отличает SGGMs от однородных score-based generative models (SGMs), которые используют только одно SDE. Теоретическое поведение SGGMs, в том числе их сходимость, до сих пор мало исследовано. Это недостаточное понимание ограничивает их развитие и применение в реальных ситуациях. Таким образом, целью данного исследования является установление неасимптотического анализа сходимости SGGMs и выявление факторов, влияющих на неё.
## Метод
Для достижения поставленных целей, авторы применяют метод анализа системы связанных стохастических дифференциальных уравнений, которые управляют развитием графа и его узлов. Методология основывается на разработке новой теории конвергенции, которая учитывает особенности SGGMs, такие как взаимосвязь между структурой графа и его характеристиками. Для проведения экспериментов использованы синтетические графы, позволяющие управлять параметрами и мерять поведение модели. Целью является получение четких теоретических оценок сходимости и определение гиперпараметров, оптимизирующих процесс генерации графов.
## Результаты
В ходе исследования было получено новое неасимптотическое описание сходимости SGGMs для трёх ключевых сценариев: (1) генерации характеристик с фиксированной структурой графа, (2) генерации структуры графа с фиксированными характеристиками узлов и (3) совместной генерации структуры и характеристик. Авторы выявили, что факторы, такие как топологические свойства графа и размерность узлов, влияют на сходимость. Также были выявлены оптимальные значения гиперпараметров, таких как длина диффузии и шаг выборки, которые способствуют улучшению качества генерации. Эмпирические эксперименты подтвердили теоретические предложения, демонстрируя надежные результаты в различных сценариях.
## Значимость
Результаты этого исследования вносят значительный вклад в теоретическое понимание SGGMs и их применение в критически важных областях, таких как синтез лекарств и моделирование биологических процессов. Теоретические результаты дают гид для выбора параметров и оптимизации моделей. Также это открытие может положительно сказаться на развитии
Abstract
Score-based graph generative models (SGGMs) have proven effective in critical
applications such as drug discovery and protein synthesis. However, their
theoretical behavior, particularly regarding convergence, remains
underexplored. Unlike common score-based generative models (SGMs), which are
governed by a single stochastic differential equation (SDE), SGGMs involve a
system of coupled SDEs. In SGGMs, the graph structure and node features are
governed by separate but interdependent SDEs. This distinction makes existing
convergence analyses from SGMs inapplicable for SGGMs. In this work, we present
the first non-asymptotic convergence analysis for SGGMs, focusing on the
convergence bound (the risk of generative error) across three key graph
generation paradigms: (1) feature generation with a fixed graph structure, (2)
graph structure generation with fixed node features, and (3) joint generation
of both graph structure and node features. Our analysis reveals several unique
factors specific to SGGMs (e.g., the topological properties of the graph
structure) which affect the convergence bound. Additionally, we offer
theoretical insights into the selection of hyperparameters (e.g., sampling
steps and diffusion length) and advocate for techniques like normalization to
improve convergence. To validate our theoretical findings, we conduct a
controlled empirical study using synthetic graph models, and the results align
with our theoretical predictions. This work deepens the theoretical
understanding of SGGMs, demonstrates their applicability in critical domains,
and provides practical guidance for designing effective models.
Ссылки и действия
Дополнительные ресурсы: