MMIF-AMIN: Adaptive Loss-Driven Multi-Scale Invertible Dense Network for Multimodal Medical Image Fusion

## Контекст Multimodal medical image fusion (MMIF) является важной областью исследований в медицинской информатике, нацеленной на объединение изображений разных модальностей для получения подробной и точной информации о органах, тканях и метаболических процессах. Эта технология играет ключевую роль в улучшении результатов диагностики и лечения. Однако сложностью MMIF является трудностью эффективного извлечения уникальных и комплиментарных информационных сигналов из разных модальностей. Недостаточное извлечение такой информации может привести к неточностям в диагностике. Для решения этой проблемы, новые методы, оптимизированные для извлечения такой комплиментарной информации, являются критически важными. ## Метод MMIF-AMIN представляет собой новую архитектуру, основанную на Invertible Dense Network (IDN), которая обеспечивает lossless извлечение фич из отдельных модальностей. Для извлечения комплиментарной информации между модальностями, авторы предлагают Multi-scale Complementary Feature Extraction Module (MCFEM), который включает в себя hybrid attention mechanism, convolutional layers с разными размерами, и Transformers. Этот модуль позволяет эффективно извлекать информацию, которая может быть упущена в простых моделях. Для оптимизации обучения модели, предлагается adaptive loss function, которая является более гибкой и эффективной, чем традиционные manually-designed loss functions. ## Результаты Для оценки эффективности MMIF-AMIN, авторы провели широкий набор экспериментов, используя разные данные, включая CT и MRI изображения. Результаты показали, что MMIF-AMIN превосходит 9 состояний-арты в MMIF, при этом показывая значительные улучшения в качестве изображений и точности диагностики. Эти результаты были подтверждены как в quantitative, так и в qualitative анализах. Отдельные ablation experiments показали, что каждый компонент модели, включая IDN, MCFEM и adaptive loss function, значительно способствуют общему качеству изображений. ## Значимость MMIF-AMIN может быть применена в различных областях медицины, в том числе в диагностике рака, исследованиях нервной системы, и других областях, где важно получить полное и точное представление о здоровье пациента. Одним из ключевых преимуществ является то, что MMIF-AMIN может быть использована для других задач image fusion, показывая промышленную ценность и широкий спектр применений. В будущем, модель может быть расширена для обработки более сложных изображений и многомодальных данных. ## Выводы MMIF-AMIN продемонстрировала превосходство над другими методами в области MMIF, показав возможность эффективно извлекать и объединять уникальные и комплиментарные информационные сигналы из разных модальностей. Основные достижения модели включают innovative architecture и adaptive loss function, которые значительно повышают точность