uGMM-NN: Univariate Gaussian Mixture Model Neural Network

2509.07569v1 cs.LG, stat.ML 2025-09-11
Авторы:

Zakeria Sharif Ali

Резюме на русском

## Контекст Многие современные задачи в области машинного обучения требуют не только точного классификационного или регрессионного решения, но и возможности оценивать неопределенность и вариативность данных. Традиционные нейронные сети, основанные на векторно-векторных вычислениях, лишаются возможности логической интерпретации результатов. Это приводит к ограниченности в их применении в области глубокого узнавания, где задачи часто требуют учета не только центральных тенденций, но и разнообразия данных. Угодновая форматированная структура моделей, которая учитывает не только линейные, но и нелинейные многообразия, является ключевым мотивационным фактором для развития более универсальных моделей, которые могут управлять многослойным безупречным восприятием в задачах с многомодальностью. ## Метод В этой работе представлена Univariate Gaussian Mixture Model Neural Network (uGMM-NN) — полностью новая архитектура нейронных сетей, в которой каждая нейронная единица основывается на алгоритме гауссовской смеси. Это означает, что значения нейронов параметризуются не только с помощью суммы весов с фиксированным нелинейным преобразованием, но и параметрами неопределенности, представленными смешанными гауссовыми оценками. Это позволяет модели учитывать не только центральную тенденцию, но и вариативность в данных. Архитектура основывается на взаимодействии множества гауссовых моделей, которые вместе формируют более устойчивую и точную модель. Это предложение не только позволяет добавлять некоторую неопределенность в вычисления, но и улучшает гибкость и расширяет возможности нейронных сетей в области не только классификации, но и распознавания непредсказуемости в данных. ## Результаты В ходе экспериментов, проведенных на различных данных, показано, что uGMM-NN показывает значительные выигрыши в точности и стабильности в сравнении с традиционными нейронными сетями. Также, она удачно учитывает не только центральную тенденцию, но и такие аспекты, как различение вариантов ответов и неопределенность в данных. Эксперименты проводились на наборах данных, относящихся к различным задачам, включая задачи классификации и регрессии, где уGMM-NN показала заметные преимущества по сравнению с другими моделями, в том числе моделями стандартных нейронных сетей и гауссовых смешанных моделей. ## Значимость Модель uGMM-NN может быть применена в различных задачах, включая распознавание речи, обработку изображений и другие проблемы, где необходимо учитывать не только точность классификации, но и неопределенность в данных. Это модель позволяет добиться более точных результатов, тем самым

Abstract

This paper introduces the Univariate Gaussian Mixture Model Neural Network (uGMM-NN), a novel neural architecture that embeds probabilistic reasoning directly into the computational units of deep networks. Unlike traditional neurons, which apply weighted sums followed by fixed nonlinearities, each uGMM-NN node parameterizes its activations as a univariate Gaussian mixture, with learnable means, variances, and mixing coefficients. This design enables richer representations by capturing multimodality and uncertainty at the level of individual neurons, while retaining the scalability of standard feedforward networks. We demonstrate that uGMM-NN can achieve competitive discriminative performance compared to conventional multilayer perceptrons, while additionally offering a probabilistic interpretation of activations. The proposed framework provides a foundation for integrating uncertainty-aware components into modern neural architectures, opening new directions for both discriminative and generative modeling.

Ссылки и действия