On the Limits of Selective AI Prediction: A Case Study in Clinical Decision Making

#### Контекст Современные высокоэффективные модели искусственного интеллекта (AI) могут существенно повысить качество человеческих решений, особенно в области клинического медицинского мониторинга. Однако даже высокоточные модели могут давать неточные прогнозы при использовании на практике. Это может привести к автоматизационному биазу, когда люди слишком надеются на AI, что может привести к деформациям в процессе принятия решений. Одним из подходов, предложенных для решения этой проблемы, является "селективная прогнозирование", при которой модель может отказаться от прогнозирования, уведомив пользователя, чтобы позволить ему принять решение без помощи AI. Несмотря на потенциальные преимущества, эта идея требует подтверждения на реальных данных. #### Метод Мы провести эксперимент с участием 259 клинических специалистов, которые выполняли задачи диагностики и лечения больных. Мы сравнили их базовые результаты без использования AI с их результатами при использовании AI с и без селективного прогнозирования. Мы измерили их диагностическую точность в каждом случае. Это позволило нам изучить, насколько селективность может изменить поведение клинических специалистов в различных условиях. #### Результаты Наши результаты показывают, что селективность может значительно воздействовать на решения клинических специалистов. Без AI, точность диагноза была 66%, а с AI, но без селективности, она падала до 56%. С селективностью, она восстанавливалась до 64%. Однако наблюдалось изменение характера ошибок: при селективности, клиники пропускали более диагнозов (18% увеличение пропущенных диагнозов) и не получали достаточного лечения (35% увеличение пропущенных лечений) по сравнению с ситуацией без AI. #### Значимость Наши результаты имеют важное значение для проектирования будущих систем человеко-AI. Они показывают, что хотя селективность может снизить ошибки при диагоностике, она может привести к другим типам проблем, таким как упущение лечения. Это подтверждает необходимость в эмпирических исследованиях, чтобы лучше понять, как пользователи взаимодействуют с AI в сложных ситуациях. #### Выводы Мы можем сделать вывод, что селективность может помочь уменьшить влияние неточных прогнозов AI, но она не безупречна и может привести к новым проблемам. Будущие исследования должны сосредоточиться на понимании и оптимизации взаимодействия человека с AI в клинических ситуациях.