Towards Trustworthy Amortized Bayesian Model Comparison
2508.20614v1
stat.ML, cs.LG, stat.CO
2025-08-29
Авторы:
Šimon Kucharský, Aayush Mishra, Daniel Habermann, Stefan T. Radev, Paul-Christian Bürkner
Резюме на русском
## Контекст
Amortized Bayesian model comparison (BMC) представляет собой эффективный подход к прогнозированию модели на основе ненулевых вероятностей, используя глубокие нейронные сети для аппроксимации построения моделей и вычисления показателей. Этот подход позволяет оценивать модели быстро и с достаточно высокой точностью. Однако, существуют определенные проблемы, связанные с недостаточной надежностью нейронных сетей, когда анализируются модели с недостаточным разрешением или когда сами модели подвергаются ошибкам. Это особенно важно при оценке моделей в случаях, когда возможна пропускная способность значительных предсказательных ошибок. Целью данной работы является улучшение надежности BMC в ситуациях, когда предполагается множественная модельная оценка, чтобы обеспечить более надежные результаты в области моделирования.
## Метод
Для улучшения надежности BMC в этой работе рассматривается подход, основанный на добавлении самостоятельной консистентности (SC) в качестве дополнительного обучения. Реализация SC включает в себя добавление новых обучающих данных, которые позволяют улучшить модель, когда входные данные недостаточно подробно описывают наблюдаемый факт. Этот подход обеспечивает улучшение надежности BMC при наличии неточностей в моделях. Для достижения этой цели используются два типа моделей: те, которые используют глубокие нейронные сети для моделирования, и те, которые используют классические методы, такие как bridge sampling. Одним из ключевых аспектов этого подхода является использование не только синтетических данных, но и реальных данных для улучшения надежности решений.
## Результаты
В результате экспериментов было продемонстрировано, что применение SC может улучшить надежность BMC в ситуациях, когда синтетические модели недостаточно точны. Однако, при использовании ненулевых моделей, SC не оказывает существенного влияния на улучшение BMC. В случае с реальными данными, SC может устранить некоторые неточности в моделях, но при этом, этот подход не всегда может быть оптимальным для повышения надежности. Одним из основных результатов является то, что SC может повысить надежность BMC только при условии того, что модели являются достаточно точными и имеется доступ к точным аналитическим вероятностным выражениям.
## Значимость
Полученные результаты показывают, что SC может быть полезным для улучшения надежности BMC в ситуациях, когда модели аналитически обучены. Однако, при использовании нейронных сетей, SC не оказывает существенного влияния на улучшение BMC. Таким образом, SC может использоваться в тех случаях, когда модели являются достаточно точными и требуется повысить надежность BMC в реальных условиях. Этот подход может быть применен в ситуациях, где необхо
Abstract
Amortized Bayesian model comparison (BMC) enables fast probabilistic ranking
of models via simulation-based training of neural surrogates. However, the
reliability of neural surrogates deteriorates when simulation models are
misspecified - the very case where model comparison is most needed. Thus, we
supplement simulation-based training with a self-consistency (SC) loss on
unlabeled real data to improve BMC estimates under empirical distribution
shifts. Using a numerical experiment and two case studies with real data, we
compare amortized evidence estimates with and without SC against analytic or
bridge sampling benchmarks. SC improves calibration under model
misspecification when having access to analytic likelihoods. However, it offers
limited gains with neural surrogate likelihoods, making it most practical for
trustworthy BMC when likelihoods are exact.