Uncertainty-Driven Reliability: Selective Prediction and Trustworthy Deployment in Modern Machine Learning

#### Контекст Современные машинные обучающие системы (ML) применяются во все более чувствительных областях, где надежность и достоверность являются ключевыми факторами успеха. Однако многие ML-системы страдают от недостатка надежности в условиях неопределенности, что может привести к ошибкам серьезных последствий. В этом контексте возникает задача повышения надежности ML-систем, особенно в ситуациях, когда модель не уверена в своих прогнозах. Эта проблема требует развития методов, позволяющих моделям не только делать прогнозы, но и решать, когда лучше отказаться от них, чтобы избежать потенциальных ошибок. Такие подходы способствуют укреплению доверия пользователей к ML-системам и их безопасному применению в критически важных областях. #### Метод Методология основывается на использовании **неопределенности** в процессе обучения модели как важных индикаторов состоятельности ее прогнозов. Техника **ensembling отдельных чекпоинтов**, обученных моделью в процессе обучения, позволяет построить метод **post-hoc abstention**, который не требует изменения архитектуры или функции потерь модели. Этот подход оказывается легким и эффективным, достигая новых результатов в области **selective prediction**. Более того, метод тщательно интегрируется с **differential privacy (DP)**, чтобы изучить влияние шума, вводимого для обеспечения конфиденциальности, на качество неопределенности. Это открытое исследование позволяет лучше понять тонкий баланс между неопределенностью и защитой конфиденциальности. #### Результаты Результаты исследований показали, что подход, основанный на **trajectory-based uncertainty**, не только показал высокую эффективность в **selective prediction**, но и доказал свою робастность при применении к задачам с защитой конфиденциальности. Другие методы, в том числе те, которые используют **ensemble других моделей**, могут страдать под воздействием шума DP, в то время как траектория-ориентированный подход остается надежным. Также была представлена финальная модель, которая не только способна отказаться от неуверенных прогнозов, но и делает это с поддержкой принципов повышения конфиденциальности. Эти результаты установили новый стандарт в области **trustworthy ML**. #### Значимость Полученные методы могут быть применены в различных областях, где надежность ML-систем является критически важной, таких как здравоохранение, финансы и безопасность. Известно, что **uncertainty estimation** позволяет моделям сделать более уверенные решения, уменьшая риск ошибок. Этот подход также открывает возможности для **сочетания надежности и конфиденциальности**, что может стать решением многих проблем в сфере прикладного использования моделей. Благодаря этой работе, модели становятся боле