Uncertainty Quantification in Probabilistic Machine Learning Models: Theory, Methods, and Insights

2509.05877v2 stat.ML, cs.AI, cs.LG 2025-09-12
Авторы:

Marzieh Ajirak, Anand Ravishankar, Petar M. Djuric

Резюме на русском

## Контекст Uncertainty Quantification (UQ) является ключевым аспектом в развитии моделей проблемы машинного обучения с моделями (MLM). Оценивание неопределенности помогает проверить надежность и точность моделей в реальных условиях. Несомненно, что некоторая неопределенность в прогнозе может быть обусловлена недостатком данных или внутренними ошибками в модели, однако подобные неясности часто могут привести к негативным результатам в принятии решений. Тем не менее, многие проблемы в UQ недостаточно изучены, в том числе, как именно оцениваются типы неопределенности, включая априорную и априорную. Эта статья посвящена разработке формализованного подхода к UQ, основываясь на гауссовских процессах и используя методику случайных реализаций для эффективного оценивания. ## Метод В данной работе предлагается алгоритм, основанный на гауссовских процессах, который учитывает как априорную, так и априорную неопределенность. Метод основывается на случайных реализациях Фурье, которые позволяют эффективно оценивать пространство гиперпараметров. Эта стратегия позволяет уменьшить меру корреляции и, следовательно, улучшить время вычисления. Модели были проверены на наборе данных UCI Machine Learning, чтобы оценить точность интерпретации неопределенности в различных ситуациях. Это позволяет предоставить первые результаты, подтверждающие эффективность подхода. ## Результаты Эксперименты показали, что метод дает точные оценки неопределенности в машинном обучении. В частности, проведенные эксперименты показали, что модели могут интерпретировать как априорную, так и априорную неопределенность, обеспечивая надежные прогнозы. Особенно удачным оказалось применение Random Fourier Features по сравнению с другими методиками, чтобы эффективно оценить неопределенность в пространстве гиперпараметров. ## Значимость Предложенный подход может иметь широкое применение в различных областях, таких как финансы, здравоохранение и системы управления рисками. Метод может помочь улучшить надежность решений, основываясь на более точных оценках неопределенности. Более того, этот подход может иметь потенциал для развития новых моделей, учитывающих неопределенность в общем виде, что может привести к созданию более устойчивых и надежных моделей в проблемах MLM. ## Выводы В данной работе была разработана новая модель для оценки неопределенности в MLM, которая использует гауссовские процессы и Random Fourier Features. Этот подход позволяет эффективно оценивать неопределенность и повышает надежность решений в моделях MLM. В дальнейшем будут проводиться дополнительные исследования, направленные на улучшение точности и эффективности модели, особ

Abstract

Uncertainty Quantification (UQ) is essential in probabilistic machine learning models, particularly for assessing the reliability of predictions. In this paper, we present a systematic framework for estimating both epistemic and aleatoric uncertainty in probabilistic models. We focus on Gaussian Process Latent Variable Models and employ scalable Random Fourier Features-based Gaussian Processes to approximate predictive distributions efficiently. We derive a theoretical formulation for UQ, propose a Monte Carlo sampling-based estimation method, and conduct experiments to evaluate the impact of uncertainty estimation. Our results provide insights into the sources of predictive uncertainty and illustrate the effectiveness of our approach in quantifying the confidence in the predictions.

Ссылки и действия