Enhancing Radiographic Disease Detection with MetaCheX, a Context-Aware Multimodal Model

## Контекст Ключевые проблемы в диагностике патологий на основе радиологических исследований черепного мозга включают недостаточное учете метаданных пациента, таких как возраст, пол и другие клинические признаки. Это приводит к ухудшению точности диагностики и неравенству в обслуживании. Несмотря на прогресс в области машинного обучения, существующие модели часто игнорируют эти критические данные, ограничивая их применимость в реальной клинической практике. Метаданные, помимо изображений, могут предоставить важные контекстные сведения, улучшив объективность и точность диагностических выводов. Мотивация заключается в разработке модели, которая будет эффективно интегрировать метаданные и изображения для повышения точности и справедливости диагностических выводов. ## Метод МетаCheX представляет собой контекстно-зависимую модель мультимодального обучения, которая объединяет изображения транскраниальных анализов (CT) и метаданные в единую архитектуру. Изображения обрабатываются с помощью конволюционной нейронной сети (CNN), в то время как метаданные обрабатываются с помощью многослойного перцептрона (MLP). Данные обрабатываются независимо, но объединяются в общий классификатор, который выполняет окончательный вывод. Эта архитектура позволяет модели учитывать оба типа данных, чтобы повысить точность и сделать диагностику более контекстно осмысленной. Модель обучалась на разнообразных данных с разными уровнями сложности для обеспечения широкой общности и робастности. ## Результаты На тестовой выборке CheXpert Plus, MetaCheX показала значительное улучшение в точности диагностики по сравнению с моделями, основанными только на изображениях. Использование метаданных привело к повышению метрики AUROC, что указывает на меньшую алгоритмическую стереотипность и усиленную общность модели. Метаданные также позволили модели лучше адаптироваться к разным клиническим сценариям, снизив риск ошибок в диагностике. Эксперименты показали, что MetaCheX эффективно интегрирует метаданные с изображениями, повышая общую эффективность модели в различных ситуациях диагностики. ## Значимость Результаты MetaCheX могут быть применимы в различных областях медицинского искусственного интеллекта, включая диагностику радиологических заболеваний и улучшение оценки клинических результатов. Мультимодальность модели позволяет улучшить точность диагностики, уменьшить биазы и увеличить ценность данных в клинической практике. Повышение справедливости и общности модели делает ее привлекательной для использования в разнообразных пациентских аудиториях. Эти достижения могу