Neural Bridge Processes
2508.07220v1
cs.LG, cs.AI
2025-08-13
Авторы:
Jian Xu, Yican Liu, Qibin Zhao, John Paisley, Delu Zeng
Резюме на русском
#### Контекст
Обучение стохастических функций на основе частично известного контекста и целевых пар является одной из основных задач в области проблемы моделирования вероятности. Однако традиционные модели, такие как Гауссовы процессы (GP), сталкиваются с проблемами масштабируемости при обработке больших данных и предполагают нормальное распределение, что ограничивает их применение. За свою сторону, нейронные процессы (Neural Processes, NP) предлагают более гибкие возможности, но сталкиваются с проблемами в ловле сложных многомодальных распределений целевых переменных. Для улучшения выразительности были предложены нейронные процессы с диффузией (Neural Diffusion Processes, NDP), но они опираются только на условные сигналы в сети деноизирования, что приводит к слабым сигналам градиентов из неусловного процесса и семантическим расхождениям на конце точки диффузии. Наша работа стремится решить эти проблемы, предлагая модель Neural Bridge Processes (NBP), которая предлагает новый подход к моделированию стохастических функций.
#### Метод
Мы предлагаем Neural Bridge Processes (NBP), новый подход к моделированию стохастических функций, где входные данные $x$ служат динамическими анкерами для всего процесса диффузии. Диффузия в NBP является условной и зависит от $x$, что позволяет направлять траекторию диффузии к управляемой целевой точке. Мы реформулируем условный ядерный процесс таким образом, чтобы он явно зависел от $x$, чтобы обеспечить констрейнтированный путь, который строго заканчивается на управляемой цели. Это позволяет получать более сильные сигналы градиентов и гарантировать консистентность на конце точке. Метод NBP основывается на принципах DDPM (Diffusion Probabilistic Models) и использует модифицированный процесс диффузии для эффективного моделирования структурированных задач.
#### Результаты
Мы проверили NBP на различных задачах: регрессии сигналов EEG, регрессии изображений и синтетических данных. Наши эксперименты показали, что NBP превосходит существующие модели, включая Neural Processes и Neural Diffusion Processes, в значительной степени. Мы получили повышение точности и лучшую теоретическую консистентность, в том числе при работе с многомодальными распределениями целевых переменных. Эти результаты подтверждают эффективность DDPM-стиля бридж-семплинга в улучшении качества решения задач структурированного прогнозирования.
#### Значимость
Метод NBP может быть применен в различных областях, таких как медицина (регрессия сигналов EEG), глубокое обучение с гауссовыми процессами, изображение и звук. Он предлагает значительные преимущества по сравнению с традиционны
Abstract
Learning stochastic functions from partially observed context-target pairs is
a fundamental problem in probabilistic modeling. Traditional models like
Gaussian Processes (GPs) face scalability issues with large datasets and assume
Gaussianity, limiting their applicability. While Neural Processes (NPs) offer
more flexibility, they struggle with capturing complex, multi-modal target
distributions. Neural Diffusion Processes (NDPs) enhance expressivity through a
learned diffusion process but rely solely on conditional signals in the
denoising network, resulting in weak input coupling from an unconditional
forward process and semantic mismatch at the diffusion endpoint. In this work,
we propose Neural Bridge Processes (NBPs), a novel method for modeling
stochastic functions where inputs x act as dynamic anchors for the entire
diffusion trajectory. By reformulating the forward kernel to explicitly depend
on x, NBP enforces a constrained path that strictly terminates at the
supervised target. This approach not only provides stronger gradient signals
but also guarantees endpoint coherence. We validate NBPs on synthetic data, EEG
signal regression and image regression tasks, achieving substantial
improvements over baselines. These results underscore the effectiveness of
DDPM-style bridge sampling in enhancing both performance and theoretical
consistency for structured prediction tasks.
Ссылки и действия
Дополнительные ресурсы: