Negative Binomial Variational Autoencoders for Overdispersed Latent Modeling
2508.05423v1
cs.LG, stat.ML
2025-08-09
Авторы:
Yixuan Zhang, Wenxin Zhang, Hua Jiang, Quyu Kong, Feng Zhou
Резюме на русском
В работе предлагается повышение точности моделирования дискретных дисперсных сигналов, таких как спайк-трэйны нейронов, через расширение фреймворка вариационных автоэнкодеров (VAE) с использованием неотрицательного биномиального распределения. Традиционные VAE, основанные на нормальном или поровом распределении, не могут логически описывать нейронную дисперсию, которая часто превышает среднее значение. Разработанный NegBio-VAE расширяет VAE, используя неотрицательное биномиальное распределение, что позволяет контролировать дисперсию и лучше адаптироваться к данным. Особенностью модели является интеграция двух схем оптимизации ELBO и двух стратегий репараметризации, призванных обеспечить устойчивость и эффективность обучения. Эмпирические результаты показывают, что NegBio-VAE превосходит Poisson-VAE при моделировании внешнего неоднородности, улучшая реконструкцию и общую точность. Это демонстрирует важность учета неоднородности в моделях нейронных сигналов.
Abstract
Biological neurons communicate through spike trains, discrete, irregular
bursts of activity that exhibit variability far beyond the modeling capacity of
conventional variational autoencoders (VAEs). Recent work, such as the
Poisson-VAE, makes a biologically inspired move by modeling spike counts using
the Poisson distribution. However, they impose a rigid constraint: equal mean
and variance, which fails to reflect the true stochastic nature of neural
activity. In this work, we challenge this constraint and introduce NegBio-VAE,
a principled extension of the VAE framework that models spike counts using the
negative binomial distribution. This shift grants explicit control over
dispersion, unlocking a broader and more accurate family of neural
representations. We further develop two ELBO optimization schemes and two
differentiable reparameterization strategies tailored to the negative binomial
setting. By introducing one additional dispersion parameter, NegBio-VAE
generalizes the Poisson latent model to a negative binomial formulation.
Empirical results demonstrate this minor yet impactful change leads to
significant gains in reconstruction fidelity, highlighting the importance of
explicitly modeling overdispersion in spike-like activations.
Ссылки и действия
Дополнительные ресурсы: