SlideMamba: Entropy-Based Adaptive Fusion of GNN and Mamba for Enhanced Representation Learning in Digital Pathology
2509.21239v1
cs.CV, q-bio.QM
2025-09-27
Авторы:
Shakib Khan, Fariba Dambandkhameneh, Nazim Shaikh, Yao Nie, Raghavan Venugopal, Xiao Li
Резюме на русском
#### Контекст
В последние годы вычислительная патология становится все более направленной на извлечение значимых представлений из Whole Slide Images (WSIs) для решения клинических и биологических задач. Однако, извлечение таких представлений представляет собой сложную задачу ввиду большого размера и сложности данных. Недостаточное внимание к контексту и отношениям между локальными и глобальными деталями в уже существующих подходах ограничивает их эффективность. Мы предлагаем SlideMamba, новую структуру, которая объединяет Mamba и Graph Neural Networks (GNNs) для решения этих проблем. Mamba в данном случае отлично справляется с глобальными зависимостями, в то время как GNNs сосредотачиваются на локальных. Наш подход использует энтропию для адаптивного слияния этих двух подходов, чтобы адаптироваться к разным задачам.
#### Метод
SlideMamba сочетает Mamba и GNNs в одной архитектуре. Mamba предназначена для поиска глобальных зависимостей, в то время как GNNs сосредотачиваются на локальных. Для эффективного слияния этих двух сигналов, мы предлагаем адаптивную стратегию, которая использует энтропию для взвешивания вклада каждого модуля в зависимости от уровня уверенности в предсказаниях. Это интеллектуальный подход, который позволяет легко адаптироваться к задачам с разным весом локальных и глобальных контекстов. Кроме того, мы применяем обучение с подкреплением для нормализации вклада каждого модуля, чтобы обеспечить стабильность.
#### Результаты
Мы проверили нашу систему на задаче предсказания генных фузий и мутаций на WSIs. Результаты показали, что SlideMamba достигает PRAUC 0.751 ± 0.05, что значительно превосходит другие подходы: MIL (0.491 ± 0.042), Trans-MIL (0.39 ± 0.017), Mamba-only (0.664 ± 0.063), GNN-only (0.748 ± 0.091) и GAT-Mamba (0.703 ± 0.075). Также SlideMamba показывает высокую точность (ROC AUC 0.738 ± 0.055), высокую чувствительность (0.662 ± 0.083) и специфичность (0.725 ± 0.094). Эти результаты демонстрируют мощь интегрированной архитектуры и ее адаптивной стратегии фузии.
#### Значимость
SlideMamba может быть применен в различных областях клинической патологии, таких как диагностика, прогностика и мониторинг терапии. Его преимущества заключаются в улучшении точности предсказаний, усилении понимания отношений между локальными и глобальными деталями, а также в его гибкости при применении к разным задачам. Этот подход может существенно повлиять на развитие вычислительной патологии, внося современные достижения в область системы со специальными требованиями к представлению данных.
#### Выводы
SlideMamba доказал с
Abstract
Advances in computational pathology increasingly rely on extracting
meaningful representations from Whole Slide Images (WSIs) to support various
clinical and biological tasks. In this study, we propose a generalizable deep
learning framework that integrates the Mamba architecture with Graph Neural
Networks (GNNs) for enhanced WSI analysis. Our method is designed to capture
both local spatial relationships and long-range contextual dependencies,
offering a flexible architecture for digital pathology analysis. Mamba modules
excels in capturing long-range global dependencies, while GNNs emphasize
fine-grained short-range spatial interactions. To effectively combine these
complementary signals, we introduce an adaptive fusion strategy that uses an
entropy-based confidence weighting mechanism. This approach dynamically
balances contributions from both branches by assigning higher weight to the
branch with more confident (lower-entropy) predictions, depending on the
contextual importance of local versus global information for different
downstream tasks. We demonstrate the utility of our approach on a
representative task: predicting gene fusion and mutation status from WSIs. Our
framework, SlideMamba, achieves an area under the precision recall curve
(PRAUC) of 0.751 \pm 0.05, outperforming MIL (0.491 \pm 0.042), Trans-MIL (0.39
\pm 0.017), Mamba-only (0.664 \pm 0.063), GNN-only (0.748 \pm 0.091), and a
prior similar work GAT-Mamba (0.703 \pm 0.075). SlideMamba also achieves
competitive results across ROC AUC (0.738 \pm 0.055), sensitivity (0.662 \pm
0.083), and specificity (0.725 \pm 0.094). These results highlight the strength
of the integrated architecture, enhanced by the proposed entropy-based adaptive
fusion strategy, and suggest promising potential for application of
spatially-resolved predictive modeling tasks in computational pathology.
Ссылки и действия
Дополнительные ресурсы: