Hierarchical Conformal Classification

## Контекст Conformal prediction (CP) является мощным фреймворком для оценки неуверенности в машинном обучении, обеспечивая надежные прогнозы с гарантией покрытия в ограниченных выборках. Применение CP к классификации позволяет получить набор возможных меток, который обязательно будет включать правильную метку с высокой вероятностью, независимо от используемого классификатора. Однако, стандартная CP не учитывает внутреннюю структуру классов, такую как семантические или иерархические связи между метками. Это ограничивает ее полезность в ситуациях, где такая информация может улучшить качество прогнозов. Целью данной работы является расширение CP для учета иерархической структуры классов, чтобы повысить точность и осмысленность прогнозов. ## Метод Мы предлагаем **иерархическую конформальную классификацию (HCC)** — расширение стандартного CP, которое включает в себя иерархическую структуру классов в процесс классификации. Мы определяем HCC как задачу ограниченной оптимизации, где наборы прогнозов состоят из узлов иерархического дерева классов. Для решения этой задачи мы проводим анализ и демонстрируем, что можно ограничиться меньшим, хорошо структурированным подмножеством решений, чтобы обеспечить обязательное покрытие с минимальным значением размера наборов прогнозов. Это позволяет сохранить оптимальность решений и улучшить их понятность для пользователей. ## Результаты Мы проводили эксперименты на трех новых наборах данных, представляющих аудио, изображения и текст. Наши результаты показывают, что HCC повышает точность классификации и улучшает знание пользователя о структуре классов по сравнению с стандартным CP. Мы также выполнили пользовательский испытаний, в которых пользователи субьективно оценили HCC как более понятную и полезную систему для классификации против стандартного CP. ## Значимость HCC может быть применена в ситуациях, где иерархическая структура классов играет ключевую роль, таких как распознавание речи, классификация изображений и текста. Ее преимущества включают повышение точности, улучшение понимания пользователем результатов и повышение удобочитаемости прогнозов. Этот подход может быть реализован в системах, где используются глубокие нейронные сети и требуется обоснованность решений. ## Выводы Мы представили иерархическую конформальную классификацию — расширение надежного фреймворка CP, которое учитывает иерархические связи между классами. Наши эксперименты показали, что HCC может привести к повышению точности прогнозов и поддерживать понятность их для пользователей. Будущие исследования буду