ProtoMedX: Towards Explainable Multi-Modal Prototype Learning for Bone Health Classification
2509.14830v1
cs.CV, cs.AI, cs.LG
2025-09-20
Авторы:
Alvaro Lopez Pellicer, Andre Mariucci, Plamen Angelov, Marwan Bukhari, Jemma G. Kerns
Резюме на русском
## Контекст
Целью исследования является развитие эффективной системы для классификации подверженности скелетной системе заболеваниями, таким как остеопороз и остеопения, врачам. Данный вопрос имеет высокий значимость в медицинской практике, так как ранний диагноз и начало лечения могут значительно повлиять на здоровье пациентов. Несмотря на развитие Искусственного Интеллекта (ИИ) в области медицины, существуют значительные проблемы, связанные с недостатком прозрачности и обоснованности решений. Например, существующие модели, основанные на глубоком обучении, часто используют только изображения (например, ДЕХА-сканы или радиологические снимки), не предоставляя достаточного объяснения своих решений, что может ограничивать доверие к таким моделям в клинической практике. Мотивацией для этого исследования является развитие модели, которая не только достигает высокой точности, но и обеспечивает понятные врачам объяснения своих решений.
## Метод
Предложенная модель, ProtoMedX, является мультимодальной и основывается на принципах прототипного обучения. Она объединяет данные из денситометрических сканов (DEXA) ломбарного отдела позвоночника с пациентскими медицинскими анотациями. Архитектура ProtoMedX включает в себя нейронные сети, которые выделяют прототипы — представительные выборки данных, отражающие ключевые особенности входных примеров. Эти прототипы используются для классификации и обеспечения прозрачности модели. Метод позволяет идентифицировать и объяснить причины конкретных классификационных решений, в том числе при ошибках. Использованные данные включают данные 4160 пациентов, предоставленных Национальной Здравоохранной Службой (NHS) Великобритании, что дает статистическую значимость результатов.
## Результаты
На основе опыта обучения и тестирования, ProtoMedX достигла значительного улучшения в классификации поверхности позвоночника по сравнению с другими моделями. В том числе, для задачи визуальной классификации (использование только ДЕХА-сканов), модель достигла точности 87,58%, а в мультимодальном режиме (использование DEXA-сканов и пациентских данных) — 89,8%. Эти результаты превышают значения, достигнутые ранее в этих задачах. Более того, ProtoMedX обеспечивает не только высокую точность, но и понятные врачам объяснения своих решений, которые могут быть использованы для дополнительного анализа и корректировки диагноза.
## Значимость
Полученные результаты имеют высокую значимость в области медицинского ИИ. Модель ProtoMedX может быть применена в клинической практике для помощи врачам в диагностике заболеваний скел
Abstract
Bone health studies are crucial in medical practice for the early detection
and treatment of Osteopenia and Osteoporosis. Clinicians usually make a
diagnosis based on densitometry (DEXA scans) and patient history. The
applications of AI in this field are ongoing research. Most successful methods
rely on deep learning models that use vision alone (DEXA/X-ray imagery) and
focus on prediction accuracy, while explainability is often disregarded and
left to post hoc assessments of input contributions. We propose ProtoMedX, a
multi-modal model that uses both DEXA scans of the lumbar spine and patient
records. ProtoMedX's prototype-based architecture is explainable by design,
which is crucial for medical applications, especially in the context of the
upcoming EU AI Act, as it allows explicit analysis of model decisions,
including incorrect ones. ProtoMedX demonstrates state-of-the-art performance
in bone health classification while also providing explanations that can be
visually understood by clinicians. Using a dataset of 4,160 real NHS patients,
the proposed ProtoMedX achieves 87.58% accuracy in vision-only tasks and 89.8%
in its multi-modal variant, both surpassing existing published methods.
Ссылки и действия
Дополнительные ресурсы: