The C-index Multiverse

## Контекст Оценка дискриминационной силы моделей в задачах прогнозирования временных результатов является ключевым этапом моделирования и выбора методов. Одним из наиболее популярных показателей для этой цели является C-индекс (concordance index). Этот показатель широко используется в области прогнозирования временных результатов, особенно с появлением машинных обучающихся методов. Однако, несмотря на его популярность, существует множество вариантов реализаций C-индекса, которые могут приводить к разным результатам. Это негативно сказывается на реплицируемости исследований и сравнении моделей. Более того, различия в подходе к обработке отсутствующих значений и смещению при обработке выживаемости также влияют на C-индекс. В нашей работе мы исследуем эту сложность, названную "C-index multiverse", и предлагаем рекомендации для улучшения транспаренности и реплицируемости результатов моделирования. ## Метод Мы проводим детальный анализ различных реализаций C-индекса, доступных в R и Python, и исследуем их различия. Наша методология включает не только сравнение реализаций C-индекса, но и исследование того, как обработка отсутствующих значений и смещения в выживаемости влияют на показатель. Мы также проводим эксперименты с различными моделями прогнозирования временных результатов, включая Cox-модели, и сравниваем их показатели C-индекса на данных о болезни рака груди (breast cancer) и семи-синтетических примерах. ## Результаты Наши результаты показывают, что различия в реализациях C-индекса могут приводить к значительным отклонениям в показателе, даже если используются одинаковые данные и модели. Например, при использовании данных о болезни рака груди мы наблюдаем, что разные реализации C-индекса дают разные результаты, что может повлиять на выбор модели. На основе евристических примеров мы также показываем, что результаты могут отличаться в зависимости от того, как обрабатывается отсутствующая информация и смещение в выживаемости. ## Значимость Наше исследование показывает, что C-индекс может иметь разные реализации в разных программах, что влияет на результаты моделирования и статистического анализа. Эта ситуация может стать причиной несогласованности в результатах разных исследований. Мы разрабатываем руководство для аналитиков, помогающее им преодолевать проблемы, связанные с C-индексом, и предлагаем новые рекомендации по его использованию. Наша работа может помочь улучшить транспарентность и реплицируемость моделей в области прогнозирования временных результатов. ## Выводы Мы подтверждаем существование "C-index multiverse", где различные реализации C-индекс