A Perfectly Truthful Calibration Measure

#### Контекст Калибровка (calibration) — ключевой понятийный аппарат в области прогнозирования и анализа данных. Она определяется как условие, при котором прогнозы соответствуют их условной независимости от данных признаков, что обеспечивает надежную интерпретируемость прогнозов в виде вероятностей. Однако вычисление точных калибровочных мер чревато сложностями, поскольку большинство известных мер не гарантируют точность на ограниченных выборках. Это недостаток стимулировал разработку более точных и эффективных калибровочных мер, учитывающих специфику реальных данных. #### Метод Мы предлагаем новую калибровочную меру — **авторский 2-биновый калибровочный луч (averaged two-bin calibration error, ATB)**. Эта мера гарантирует устойчивость и полноту, обладает значительным аналитическим элементом, а также является простой в определении и расчете. Она обладает значительным преимуществом перед существующими мерами, такими как **smooth calibration error (smCal)** и **distance to calibration (distCal)**, с точки зрения расчета и эффективности. Это делает ATB лучшим выбором для тестирования калибровки на больших данных. #### Результаты Мы провели эксперименты с ATB на различных данных и сравнили итоги с другими мерами. Наши результаты показали, что ATB обеспечивает более точное и эффективное калибровочное тестирование по сравнению с smCal и distCal. Для проверки точности мера ATB обладает высокой производительностью за счет простоты расчета, что позволяет значительно сократить время вычислений. Эта мера также легко интегрируется в существующие прогнозные модели. #### Значимость Основные преимущества ATB включают высокую производительность, простоту интеграции в модели и точность в тестировании калибровки. Эта мера хорошо подходит для использования в ситуациях, где необходима надежная интерпретируемость прогнозов в виде вероятностей. Мы также предложили универсальный алгоритм для конструирования других точных калибровочных мер, что позволит расширить эту область исследований в будущем. #### Выводы Мы сумели разработать первую точную калибровочную меру в батч-режиме. Наша работа показала, что ATB является эффективным инструментом для точного тестирования калибровки. В будущем мы планируем расширить возможности ATB и его приложений в других областях, таких как обучение с учителем и моделирование вероятностей.