AMD-Mamba: A Phenotype-Aware Multi-Modal Framework for Robust AMD Prognosis

2508.02957v1 eess.IV, cs.CV 2025-08-09
Авторы:

Puzhen Wu, Mingquan Lin, Qingyu Chen, Emily Y. Chew, Zhiyong Lu, Yifan Peng, Hexin Dong

Резюме на русском

Это резюме к статье AMD-Mamba: A Phenotype-Aware Multi-Modal Framework for Robust AMD Prognosis. В центре статьи — проблема болезни АМД (age-related macular degeneration), одной из наиболее распространенных причин неизлечимого потери зрения. Авторы предлагают AMD-Mamba, новую многомодальную модель, которая интегрирует цветные фондовые изображения, генетические варианты и социално-демографические данные. Особенностью этой модели является инновационная стратегия метрического обучения, использующая оценку степени серьезности АМД для улучшения понимания патологических изменений. Алгоритм AMD-Mamba способен охватывать как локальные, так и глобальные информационные признаки, такие как изменения сосудистой структуры. Многоразмерная фузия данных и включение клинических переменных в различных разрешениях позволяют модели обеспечивать более точные прогнозы. На AREDS-датасете проведено экспериментальное исследование, показывающее высокую эффективность нового биомаркера и общей модели в прогнозировании ранних стадий АМД. Эти результаты демонстрируют перспективу AMD-Mamba для совершенствования прогнозирования и профилактики этого заболевания.

Abstract

Age-related macular degeneration (AMD) is a leading cause of irreversible vision loss, making effective prognosis crucial for timely intervention. In this work, we propose AMD-Mamba, a novel multi-modal framework for AMD prognosis, and further develop a new AMD biomarker. This framework integrates color fundus images with genetic variants and socio-demographic variables. At its core, AMD-Mamba introduces an innovative metric learning strategy that leverages AMD severity scale score as prior knowledge. This strategy allows the model to learn richer feature representations by aligning learned features with clinical phenotypes, thereby improving the capability of conventional prognosis methods in capturing disease progression patterns. In addition, unlike existing models that use traditional CNN backbones and focus primarily on local information, such as the presence of drusen, AMD-Mamba applies Vision Mamba and simultaneously fuses local and long-range global information, such as vascular changes. Furthermore, we enhance prediction performance through multi-scale fusion, combining image information with clinical variables at different resolutions. We evaluate AMD-Mamba on the AREDS dataset, which includes 45,818 color fundus photographs, 52 genetic variants, and 3 socio-demographic variables from 2,741 subjects. Our experimental results demonstrate that our proposed biomarker is one of the most significant biomarkers for the progression of AMD. Notably, combining this biomarker with other existing variables yields promising improvements in detecting high-risk AMD patients at early stages. These findings highlight the potential of our multi-modal framework to facilitate more precise and proactive management of AMD.

Ссылки и действия