Neural Bridge Processes

2508.07220v1 cs.LG, cs.AI 2025-08-13
Авторы:

Jian Xu, Yican Liu, Qibin Zhao, John Paisley, Delu Zeng

Резюме на русском

#### Контекст Обучение стохастических функций на основе частично известного контекста и целевых пар является одной из основных задач в области проблемы моделирования вероятности. Однако традиционные модели, такие как Гауссовы процессы (GP), сталкиваются с проблемами масштабируемости при обработке больших данных и предполагают нормальное распределение, что ограничивает их применение. За свою сторону, нейронные процессы (Neural Processes, NP) предлагают более гибкие возможности, но сталкиваются с проблемами в ловле сложных многомодальных распределений целевых переменных. Для улучшения выразительности были предложены нейронные процессы с диффузией (Neural Diffusion Processes, NDP), но они опираются только на условные сигналы в сети деноизирования, что приводит к слабым сигналам градиентов из неусловного процесса и семантическим расхождениям на конце точки диффузии. Наша работа стремится решить эти проблемы, предлагая модель Neural Bridge Processes (NBP), которая предлагает новый подход к моделированию стохастических функций. #### Метод Мы предлагаем Neural Bridge Processes (NBP), новый подход к моделированию стохастических функций, где входные данные $x$ служат динамическими анкерами для всего процесса диффузии. Диффузия в NBP является условной и зависит от $x$, что позволяет направлять траекторию диффузии к управляемой целевой точке. Мы реформулируем условный ядерный процесс таким образом, чтобы он явно зависел от $x$, чтобы обеспечить констрейнтированный путь, который строго заканчивается на управляемой цели. Это позволяет получать более сильные сигналы градиентов и гарантировать консистентность на конце точке. Метод NBP основывается на принципах DDPM (Diffusion Probabilistic Models) и использует модифицированный процесс диффузии для эффективного моделирования структурированных задач. #### Результаты Мы проверили NBP на различных задачах: регрессии сигналов EEG, регрессии изображений и синтетических данных. Наши эксперименты показали, что NBP превосходит существующие модели, включая Neural Processes и Neural Diffusion Processes, в значительной степени. Мы получили повышение точности и лучшую теоретическую консистентность, в том числе при работе с многомодальными распределениями целевых переменных. Эти результаты подтверждают эффективность DDPM-стиля бридж-семплинга в улучшении качества решения задач структурированного прогнозирования. #### Значимость Метод NBP может быть применен в различных областях, таких как медицина (регрессия сигналов EEG), глубокое обучение с гауссовыми процессами, изображение и звук. Он предлагает значительные преимущества по сравнению с традиционны

Abstract

Learning stochastic functions from partially observed context-target pairs is a fundamental problem in probabilistic modeling. Traditional models like Gaussian Processes (GPs) face scalability issues with large datasets and assume Gaussianity, limiting their applicability. While Neural Processes (NPs) offer more flexibility, they struggle with capturing complex, multi-modal target distributions. Neural Diffusion Processes (NDPs) enhance expressivity through a learned diffusion process but rely solely on conditional signals in the denoising network, resulting in weak input coupling from an unconditional forward process and semantic mismatch at the diffusion endpoint. In this work, we propose Neural Bridge Processes (NBPs), a novel method for modeling stochastic functions where inputs x act as dynamic anchors for the entire diffusion trajectory. By reformulating the forward kernel to explicitly depend on x, NBP enforces a constrained path that strictly terminates at the supervised target. This approach not only provides stronger gradient signals but also guarantees endpoint coherence. We validate NBPs on synthetic data, EEG signal regression and image regression tasks, achieving substantial improvements over baselines. These results underscore the effectiveness of DDPM-style bridge sampling in enhancing both performance and theoretical consistency for structured prediction tasks.

Ссылки и действия