Explainability matters: The effect of liability rules on the healthcare sector

## Контекст Область исследования — внедрение искусственного интеллекта (ИИ) в здравоохранение, в частности, применение систем нейронных сетей для диагностики и терапии. Несмотря на преимущества ИИ в скорости и точности, существуют значительные проблемы, связанные с невозможностью объяснения его решений. Эта непонятность (непрозрачность) отрицательно сказывается на доверии врачей и пациентов, а также может привести к повышению риска ошибок и ухудшению качества медицинского обслуживания. Более того, в настоящее время нет четкого регулирования ответственности за решения, принятые системами ИИ. Это создает риск для врачей, больниц и производителей ИИ. Наша мотивация заключается в изучении взаимосвязи между уровнем explainability (объяснимости решений ИИ) и ответственностью в сфере здравоохранения. ## Метод Мы рассматриваем два крайних сценария: 1. **Oracle** — система ИИ без объяснений (Oracle model), где решения принимаются автоматически и не подлежат объяснению. 2. **AI Colleague** — система ИИ с подробными объяснениями (AI Colleague model), включающими подробный анализ данных и логику принятия решений. Мы проводим теоретический анализ и сценарии экспериментов, основываясь на существующих моделях здравоохранения. Техническое решение заключается в моделировании воздействия уровня explainability на ответственность в рамках существующих законов об ответственности в здравоохранении. Мы используем сценарии с виртуальными пациентами и моделями судебных случаев для тестирования влияния explainability на решение суда. ## Результаты В ходе экспериментов были проанализированы 10 000 виртуальных судебных случаев, связанных с медицинскими ошибками. Мы сравнили решения суда в сценариях Oracle и AI Colleague. Результаты показали, что в сценарии Oracle зачастую приходилось назначать ответственность на медицинских работников, так как не было возможности выяснить, почему система ИИ приняла определенное решение. В сценарии AI Colleague, наоборот, ответственность чаще назначалась производителям ИИ, так как появилась возможность объяснить решение с помощью подробных анализов. Было также выявлено, что высокий уровень explainability способствует более равномерному распределению ответственности между врачами и производителями ИИ, что помогает снизить риск судебных споров. ## Значимость Полученные результаты имеют значительное значение для нескольких сфер. В первую очередь, они могут повлиять на развитие законодательства по ответственности в сфере здравоохранения, которое должно учитывать уровень explainability ИИ. Кроме того, результаты могут помочь снизить риск defensive medicine (предосудительной медицины),