Clinical Uncertainty Impacts Machine Learning Evaluations

## Контекст Оценка медицинских моделей машинного обучения часто базируется на методиках, не учитывающих переменность в метках аннотаций. Эти метки могут отличаться в результате разногласий между экспертами, незначительных различий в их опыте или отсутствия четкого стандарта оценки. Такая переменность, или неопределенность, приводит к неточностям в оценке качества моделей, особенно в задачах классификации и диагностики. Поэтому, необходимо разработать методы, которые учитывают этот аспект и позволяют более точно оценивать модели. ## Метод Для учета неопределенности в метках используется модель многоклассовой классификации с вероятностными метками. Каждая метка получается посредством агрегирования взвешенных оценок экспертов, которые используются для построения вероятностного распределения для каждого класса. Для оценки модели вводятся показатели, которые учитывают не только точность, но и возможность ошибки, что дает более реалистичное представление о квалити алгоритма. Эта модель может быть применена к различным бинарным и многоклассовым задачам, а также к данным, полученным с различными методами аннотации. ## Результаты В экспериментах были использованы данные из медицинских импедиций, включая системы зрения и кардиологии. Были сравнены результаты моделей, оцениваемых по традиционным методикам, и модели, учитывающих неопределенность в метках. Оказалось, что учитывая неопределенность, модели могут показать существенно другой порядок рейтингов, что отражает их реальное качество. Например, модели с высокой точностью, но недооценивающие вероятность ошибки, могут быть опущены в рейтинге при традиционных метриках, но будут выделяться при учете неопределенности. ## Значимость Эти результаты показывают важность учета неопределенности при оценке моделей машинного обучения в медицине. Это позволяет получать более точные оценки качества моделей в реальных клинических условиях. Благодаря этому, могут быть избежаны ошибки в принятии решений, которые могут иметь серьезные последствия для пациентов. Также, это может способствовать развитию новых методов аннотации, учитывающих не только исходное состояние данных, но и доверие к меткам. ## Выводы Оценка качества моделей машинного обучения в медицине должна учитывать неопределенность в метках. Использование вероятностных метрик позволяет получать более точные результаты и улучшает безопасность и эффективность применения моделей в клинических задачах. Будущие исследования должны сосредоточиться на разработке более сложных моделей, учитывающих не только неопределенность в метках, но и неопределен