Calibrated and uncertain? Evaluating uncertainty estimates in binary classification models

#### Контекст Обеспечение качества и релевантности результатов научных исследований зависит от точности и надежности методов оценки неопределенности. В последние годы, с усложнением данных и появлением сложных моделей, таких как нейронные сети, оценка неопределенности стала вызовом. В данной работе авторы исследуют ряд методов оценки неопределенности в классификационных моделях, сфокусировавшись на ситуациях, когда данные лежат за пределами обученных моделей. Целью является оценка того, насколько данные методы соответствуют критериям качества, таким как калибровка и возрастание неопределенности при выходе за пределы данных. #### Метод Авторы применяют унифицированный фреймворк, основанный на аппроксимативной байесовской инференции, для сравнения шести различных методов оценки неопределенности: (i) сети с подбором параметров, (ii) сети с конфликтующим значением функционала, (iii) нейронные сети с моделью информации, (iv) модель с множественными моделями, (v) гауссовская классификация, (vi) модель смеси Dirichlet. Данные подготовлены специально для исследования и позволяют эмпирически оценить качество работы моделей в различных ситуациях, включая ситуации, когда данные лежат за пределами обученных моделей. #### Результаты Исследование показало, что все алгоритмы достаточно точно оценивают уверенность внутри обученных данных. Однако, при выходе за пределы обученной модели ни один из глубоких нейронных алгоритмов не показывает ожидаемого возрастания неопределенности. Это указывает на необходимость разработки более продвинутых методов оценки неопределенности, особенно для ситуаций, когда модель выводит результаты за пределами обученных данных. #### Значимость Результаты данного исследования могут быть применены в научном моделировании и практическом применении моделей классификации. Оценка неопределенности является ключевым элементом для улучшения надежности машинного обучения в областях, где необходимо точно определить результаты, включая научное исследование, диагностику и прогностику. Исследование также подчеркивает необходимость развития методов, позволяющих более точно отражать неопределенность в ситуациях, когда данные находятся за пределами обучения. #### Выводы На основе результатов показано, что ряд методов оценки неопределенности в классификационных моделях достаточно точно отражают уверенность внутри обученного диапазона. Однако, ни один из них не изменяет неопределенности в ситуациях, когда данные находятся за пределами обученной модели. В дальнейшем, необходимо продолжить развитие и исследование методов, которые будут более эффек