MOIS-SAM2: Exemplar-based Segment Anything Model 2 for multilesion interactive segmentation of neurofibromas in whole-body MRI
2509.19277v2
eess.IV, cs.AI, cs.CV, cs.LG
2025-09-25
Авторы:
Georgii Kolokolnikov, Marie-Lena Schmalhofer, Sophie Goetz, Lennart Well, Said Farschtschi, Victor-Felix Mautner, Inka Ristow, Rene Werner
Резюме на русском
```## Контекст
Нейрофиброматоз типа 1 (NF1) — это генетическое заболевание, обусловленное многочисленными генетическими изменениями в гене NF1, в результате которых образуется большое количество нейрофибром (NF). Нейрофибромы — это мягкие тканевые опухоли, которые могут расти во всех частях тела, включая кожу, нервную систему и другие органы.
Выявление и мониторинг NF во время лечения является ключевым аспектом лечения NF1. Тотальная магнитно-резонансная импульсия (WB-MRI) является клиническим стандартом для выявления и длительного наблюдения за ростом NF. Однако существующие методы интерактивной сегментации не могут эффективно обрабатывать многочисленные NF на WB-MRI с высокой точностью и масштабом.
В данном исследовании предлагается новый подход, называемый MOIS-SAM2, который расширяет предыдущую модель Segment Anything Model 2 (SAM2) для многообъектной интерактивной сегментации NF на WB-MRI. Модель MOIS-SAM2 предназначена для решения проблемы схожести с экспертными методами и масштабируемости.
```
Abstract
Background and Objectives: Neurofibromatosis type 1 is a genetic disorder
characterized by the development of numerous neurofibromas (NFs) throughout the
body. Whole-body MRI (WB-MRI) is the clinical standard for detection and
longitudinal surveillance of NF tumor growth. Existing interactive segmentation
methods fail to combine high lesion-wise precision with scalability to hundreds
of lesions. This study proposes a novel interactive segmentation model tailored
to this challenge.
Methods: We introduce MOIS-SAM2, a multi-object interactive segmentation
model that extends the state-of-the-art, transformer-based, promptable Segment
Anything Model 2 (SAM2) with exemplar-based semantic propagation. MOIS-SAM2 was
trained and evaluated on 119 WB-MRI scans from 84 NF1 patients acquired using
T2-weighted fat-suppressed sequences. The dataset was split at the patient
level into a training set and four test sets (one in-domain and three
reflecting different domain shift scenarios, e.g., MRI field strength
variation, low tumor burden, differences in clinical site and scanner vendor).
Results: On the in-domain test set, MOIS-SAM2 achieved a scan-wise DSC of
0.60 against expert manual annotations, outperforming baseline 3D nnU-Net (DSC:
0.54) and SAM2 (DSC: 0.35). Performance of the proposed model was maintained
under MRI field strength shift (DSC: 0.53) and scanner vendor variation (DSC:
0.50), and improved in low tumor burden cases (DSC: 0.61). Lesion detection F1
scores ranged from 0.62 to 0.78 across test sets. Preliminary inter-reader
variability analysis showed model-to-expert agreement (DSC: 0.62-0.68),
comparable to inter-expert agreement (DSC: 0.57-0.69).
Conclusions: The proposed MOIS-SAM2 enables efficient and scalable
interactive segmentation of NFs in WB-MRI with minimal user input and strong
generalization, supporting integration into clinical workflows.