F2PASeg: Feature Fusion for Pituitary Anatomy Segmentation in Endoscopic Surgery
2508.05465v1
cs.CV, cs.SY, eess.IV, eess.SY
2025-08-09
Авторы:
Lumin Chen, Zhiying Wu, Tianye Lei, Xuexue Bai, Ming Feng, Yuxi Wang, Gaofeng Meng, Zhen Lei, Hongbin Liu
Резюме на русском
**Резюме**
В питомической хирургии возникает трудность с предсказанием рисков повреждения близлежащих важных анатомических структур в реальном времени. Одной из ключевых задач здесь является сегментация анатомических структур во время операции. Однако отсутствие больших анотированных тренировочных данных и особенности интраоперационной среды (камерный движение, кровоизлияния и пр.) препятствуют развитию эффективных алгоритмов.
Мы предлагаем F2PASeg — модель, основанную на функции слияния признаков (Feature Fusion), которая улучшает сегментацию анатомических структур в условиях внутриоперационных неполадок. Модель обучается на новом датасете **Pituitary Anatomy Segmentation (PAS)**, содержащем 7,845 временно связанных изображений из 120 видео. Для уменьшения классового несбалансированности были использованы аугментационные техники, представляющие собой имитацию наличия средств в операционной сцене.
Результаты экспериментов показали, что F2PASeg обеспечивает точную и быструю сегментацию ключевых анатомических структур, даже при переменных условиях внутриоперационной среды. Это делает её полезной для улучшения безопасности и планирования операций.
Abstract
Pituitary tumors often cause deformation or encapsulation of adjacent vital
structures. Anatomical structure segmentation can provide surgeons with early
warnings of regions that pose surgical risks, thereby enhancing the safety of
pituitary surgery. However, pixel-level annotated video stream datasets for
pituitary surgeries are extremely rare. To address this challenge, we introduce
a new dataset for Pituitary Anatomy Segmentation (PAS). PAS comprises 7,845
time-coherent images extracted from 120 videos. To mitigate class imbalance, we
apply data augmentation techniques that simulate the presence of surgical
instruments in the training data. One major challenge in pituitary anatomy
segmentation is the inconsistency in feature representation due to occlusions,
camera motion, and surgical bleeding. By incorporating a Feature Fusion module,
F2PASeg is proposed to refine anatomical structure segmentation by leveraging
both high-resolution image features and deep semantic embeddings, enhancing
robustness against intraoperative variations. Experimental results demonstrate
that F2PASeg consistently segments critical anatomical structures in real time,
providing a reliable solution for intraoperative pituitary surgery planning.
Code: https://github.com/paulili08/F2PASeg.