No Need for "Learning" to Defer? A Training Free Deferral Framework to Multiple Experts through Conformal Prediction

#### Контекст AI-системы, несмотря на высокую точность в задачах классификации, часто сталкиваются с недостатком уверенности в предсказаниях на определенных входных данных. Для решения этой проблемы возникла необходимость в развитии систем human-AI collaboration. Одним из способов улучшения этого процесса является метод Learning to Defer (L2D), который позволяет системе передавать неуверенные задачи эксперту. Однако существующие L2D-подходы требуют значительной подготовки и дорогостоящей переучивания, когда эксперты меняются или при изменении обстоятельств. Наша работа, No Need for "Learning" to Defer? A Training Free Deferral Framework to Multiple Experts through Conformal Prediction, предлагает новый, модельно-и экспертно-независимый подход для решения этой проблемы, основанный на технологии conformal prediction. #### Метод Мы предлагаем необучающую фреймворк, который определяет неопределенность уровня поддержки определенного класса в прогнозе с помощью conformal predictor. Данный подход работает с последовательностью множеств прогнозов для различных экспертов. Мы используем новый критерий segregativity, который определяет точность эксперта в разделении наиболее вероятных классов. Наша модель выбирает наиболее уверенного эксперта на основе этого критерия. Это позволяет работать с любыми моделями или экспертами без необходимости их переучивания. #### Результаты Мы провели эксперименты на двух высокоточных коллекциях данных CIFAR10-H и ImageNet16-H. Наши результаты показали, что наш подход показывает значительное улучшение в точности, стабилизируясь на уровне 99.57% и 99.40%, соответственно. Также мы увидели, что наш подход снижает нагрузку на экспертов до 11 раз, сохраняя высокую отчетливость в выборке. Даже при менеджменте уровня информации, наш алгоритм показывает только незначительное снижение точности, что делает его устойчивым и эффективным в различных условиях. #### Значимость Предлагаемый подход может быть использован в различных аспектах human-AI collaboration, где требуется высокая точность и устойчивость решений. Он отличается своей модельной и экспертной независимостью, что упрощает его применение в реальном мире. Этот фреймворк может быть применен для улучшения работы систем медицинской диагностики, поиска информации, и даже для задач проверки и анализа. #### Выводы Исследования показали, что модельно-экспертно независимый подход, основанный на conformal prediction, может предлагать эффективный и универсальный способ решения задач deferral без необходимости тренировки модели. Наша работа открывает путь для будущих исследований в области методов deferral, центрируясь на улучшении точности и устойчивости во взаимодействии с экспертами.