## Контекст В сегменте прикладных решений, требующих гарантированной надежности и точности, данные-опирающиеся модели должны не только точно прогнозировать, но и оценивать свою собственную неопределенность. Эта характеристика, называемая калибровкой, является критической для основания рискованных решений. В регрессии широко развит комплекс метрик и методов калибровки, которые предназначены для достижения этой цели. Однако метрики калибровки отличаются по определению, предпосылкам и масштабам, что создает проблемы при интерпретации и сравнении результатов из разных исследований. Более того, многие методы калибровки были протестированы только на ограниченном наборе метрик, что не позволяет судить о габаритах их улучшений в разных контекстах. Работа предлагает систематическую классификацию метрик калибровки, извлеченных из ранее опубликованных работ, и их независимую оценку в условиях стандартных экспериментов с настоящими, синтетическими и специально искаженными данными. Это позволяет выявить области, где метрики дают несогласованные или противоречивые результаты, что может привести к неправильным выводам в процессе рекалибровки. ## Метод В работе использована систематическая классификация и обобщение метрик калибровки, извлеченных из литературы. Были проанализированы широкий спектл метрик, включая статистические меры как Expected Normalized Calibration Error (ENCE), так и критерии, основанные на простоте, такие как Coverage Width-based Criterion (CWC). Для проверки этих метрик были проведены эксперименты с реальными, синтетическими и подделанными данными, которые имитируют различные ситуации некорректной калибровки. Для каждой метрики была определена ее значимость и точность в оценке калибровки моделей. Эта методология позволила создать объективный бенчмарк для сравнения различных методов калибровки и их метрик. ## Результаты Эксперименты показали, что многие метрики калибровки дают противоречивые результаты при оценке одних и тех же результатов. Например, ENCE и CWC приводят к разным выводам о качестве рекалибровки, что может привести к неточностям при принятии решений. Было обнаружено, что некоторые метрики дают высокую оценку калибровки для моделей, которые на самом деле некорректно оценивают неопределенность. Это свидетельствует о сильных конфликтах между метриками, которые могут использоваться для "выбора подходящих результатов" в зависимости от их определения. В целом, было установлено, что ENCE и CWC показали себя как наиболее надежные метрики в этом квадрате, но даже они не являются идеальными и не всегда сходятся в оценках. ## Значимость Результаты работы имеют практическое значение для разрабо