AMD-Mamba: A Phenotype-Aware Multi-Modal Framework for Robust AMD Prognosis
2508.02957v1
eess.IV, cs.CV
2025-08-09
Авторы:
Puzhen Wu, Mingquan Lin, Qingyu Chen, Emily Y. Chew, Zhiyong Lu, Yifan Peng, Hexin Dong
Резюме на русском
Это резюме к статье AMD-Mamba: A Phenotype-Aware Multi-Modal Framework for Robust AMD Prognosis.
В центре статьи — проблема болезни АМД (age-related macular degeneration), одной из наиболее распространенных причин неизлечимого потери зрения. Авторы предлагают AMD-Mamba, новую многомодальную модель, которая интегрирует цветные фондовые изображения, генетические варианты и социално-демографические данные. Особенностью этой модели является инновационная стратегия метрического обучения, использующая оценку степени серьезности АМД для улучшения понимания патологических изменений. Алгоритм AMD-Mamba способен охватывать как локальные, так и глобальные информационные признаки, такие как изменения сосудистой структуры. Многоразмерная фузия данных и включение клинических переменных в различных разрешениях позволяют модели обеспечивать более точные прогнозы.
На AREDS-датасете проведено экспериментальное исследование, показывающее высокую эффективность нового биомаркера и общей модели в прогнозировании ранних стадий АМД. Эти результаты демонстрируют перспективу AMD-Mamba для совершенствования прогнозирования и профилактики этого заболевания.
Abstract
Age-related macular degeneration (AMD) is a leading cause of irreversible
vision loss, making effective prognosis crucial for timely intervention. In
this work, we propose AMD-Mamba, a novel multi-modal framework for AMD
prognosis, and further develop a new AMD biomarker. This framework integrates
color fundus images with genetic variants and socio-demographic variables. At
its core, AMD-Mamba introduces an innovative metric learning strategy that
leverages AMD severity scale score as prior knowledge. This strategy allows the
model to learn richer feature representations by aligning learned features with
clinical phenotypes, thereby improving the capability of conventional prognosis
methods in capturing disease progression patterns. In addition, unlike existing
models that use traditional CNN backbones and focus primarily on local
information, such as the presence of drusen, AMD-Mamba applies Vision Mamba and
simultaneously fuses local and long-range global information, such as vascular
changes. Furthermore, we enhance prediction performance through multi-scale
fusion, combining image information with clinical variables at different
resolutions. We evaluate AMD-Mamba on the AREDS dataset, which includes 45,818
color fundus photographs, 52 genetic variants, and 3 socio-demographic
variables from 2,741 subjects. Our experimental results demonstrate that our
proposed biomarker is one of the most significant biomarkers for the
progression of AMD. Notably, combining this biomarker with other existing
variables yields promising improvements in detecting high-risk AMD patients at
early stages. These findings highlight the potential of our multi-modal
framework to facilitate more precise and proactive management of AMD.
Ссылки и действия
Дополнительные ресурсы: