FractMorph: A Fractional Fourier-Based Multi-Domain Transformer for Deformable Image Registration
2508.12445v1
eess.IV, cs.CV
2025-08-20
Авторы:
Shayan Kebriti, Shahabedin Nabavi, Ali Gooya
Резюме на русском
#### Контекст
Размыкание медицинских изображений — это критический этап в различных клинических процедурах, включая планирование операций, мониторинг заболеваний и трансплантации. Однако деформируемый регистрация изображений (DIR), которая связывает анатомические структуры на разных изображениях, представляет собой сложную задачу из-за различий в структурах, разрешении и размышлении. Традиционные методы часто вынуждены выбирать между точностью и объемом данных, не удаваясь удовлетворить обе потребности. Мы предлагаем FractMorph, новую архитектуру для решения этой проблемы, основанную на фракционном преобразовании Фурье, чтобы повысить точность и эффективность регистрации.
#### Метод
Фракционное преобразование Фурье (FrFT) используется для извлечения частных функций в различных доменах, что позволяет одновременно поймать локальные и глобальные фичи. Мы предлагаем 3D-двухпараллельную сеть на базе трансформеров, где каждый блок Fractional Cross-Attention (FCA) применяет FrFT в 0°, 45°, 90°, а также log-magnitude branch. Эти функции объединяются с помощью cross-attention между фиксированным и перемещаемым изображениями. Для предсказания деформационного поля используется легковесная архитектура U-Net. Мы также представили легковесный вариант FractMorph-Light с 29,6M параметрами, который демонстрирует точность, подходящую для полной модели, но с меньшим потреблением ресурсов.
#### Результаты
Мы проверили FractMorph на ACDC cardiac MRI датасете, получив state-of-the-art результаты: overall Dice Similarity Coefficient (DSC) 86,45%, average per-structure DSC 75,15%, HD95 1,54 mm. Мы продемонстрировали, что наша модель отлично справляется с нелинейными деформациями в медицинских изображениях без потребности в специальной настройке или многошаговых архитектурах. Мы также представили FractMorph-Light, который подтвердил наши результаты с меньшим размером.
#### Значимость
Наша модель имеет широкие клинические приложения в различных областях, включая планирование операций и мониторинг заболеваний. FractMorph обеспечивает высокую точность и эффективность, устраняя необходимость в специальных настройках и многошаговых сетях. Инновационность заключается в multi-domain spectral-spatial attention, которая эффективно решает проблему высокой сложности и переносимости.
#### Выводы
Мы представили FractMorph, новую архитектуру для deformable image registration, которая продемонстрировала высокую точность и гибкость на широком диапазоне случаев. В следующих исследованиях мы планируем расширить FractMorph для работы с более сложными изображениями и исследовать его применение в других областях, таких как трансформации данных в цифрово
Abstract
Deformable image registration (DIR) is a crucial and challenging technique
for aligning anatomical structures in medical images and is widely applied in
diverse clinical applications. However, existing approaches often struggle to
capture fine-grained local deformations and large-scale global deformations
simultaneously within a unified framework. We present FractMorph, a novel 3D
dual-parallel transformer-based architecture that enhances cross-image feature
matching through multi-domain fractional Fourier transform (FrFT) branches.
Each Fractional Cross-Attention (FCA) block applies parallel FrFTs at
fractional angles of 0{\deg}, 45{\deg}, 90{\deg}, along with a log-magnitude
branch, to effectively extract local, semi-global, and global features at the
same time. These features are fused via cross-attention between the fixed and
moving image streams. A lightweight U-Net style network then predicts a dense
deformation field from the transformer-enriched features. On the ACDC cardiac
MRI dataset, FractMorph achieves state-of-the-art performance with an overall
Dice Similarity Coefficient (DSC) of 86.45%, an average per-structure DSC of
75.15%, and a 95th-percentile Hausdorff distance (HD95) of 1.54 mm on our data
split. We also introduce FractMorph-Light, a lightweight variant of our model
with only 29.6M parameters, which maintains the superior accuracy of the main
model while using approximately half the memory. Our results demonstrate that
multi-domain spectral-spatial attention in transformers can robustly and
efficiently model complex non-rigid deformations in medical images using a
single end-to-end network, without the need for scenario-specific tuning or
hierarchical multi-scale networks. The source code of our implementation is
available at https://github.com/shayankebriti/FractMorph.
Ссылки и действия
Дополнительные ресурсы: