Multimodal Medical Endoscopic Image Analysis via Progressive Disentangle-aware Contrastive Learning

#### Контекст Анализ медицинских изображений, особенно в области сегментации тканей и знаков заболеваний, является ключевым элементом в диагностике и терапии различных заболеваний. Особенно важной является сегментация лёгочно-фарингеальных туморов, так как точность этой процедуры влияет на качество диагностики и терапии. До сих пор, многие методы анализа изображений ограничиваются одним модальным изображением, что не позволяет полностью учесть все анатомические и патологические особенности. Наша работа направляется на развитие методов, которые бы учитывали не только 2D White Light Imaging (WLI), но и Narrow Band Imaging (NBI) для повышения точности сегментации. #### Метод Разработанная модель основывается на `Align-Disentangle-Fusion` механизме, который объединяет 2D WLI и NBI изображения в единое пространство. Основной принцип — это многоуровневый дистрибутивный выравниваний, который помогает устранить расхождения модальностей, используя блоки преобразования на нескольких уровнях. Однако главные инновации заключаются в стратегии прогрессивной фичи дисентеглирования. Это означает, что используется предварительное дисентеглирование и контрастное обучение, чтобы отделить модальность-специфичные и общие черты. Это позволяет эффективно обучаться в условиях многомодального анализа и объединять на выходе семантические признаки. #### Результаты Мы проверили нашу модель на нескольких наборах данных и сравнили результаты с текущими методами. Метод показал себя лучше в показателях точности сегментации на всех датасетах. Это демонстрирует его надежность и эффективность в различных реальных клинических сценариях. Такие результаты подтверждают пользу этого подхода в медицинском анализе изображений. #### Значимость Наш подход может быть применен в различных областях медицины, включая диагностику и оперативное вмешательство. Он обеспечивает более точный анализ изображений, что повышает качество диагностики. Одним из основных преимуществ является улучшение точности сегментации, что делает его полезным для медиков, а также для разработчиков медицинских решений. #### Выводы Нами был предложен новый подход к многомодальному анализу изображений в области медицины, основанный на `Align-Disentangle-Fusion` механизме. Мы показали, что наш метод более точен и эффективен в сравнении с другими методами. Наше исследование открывает пути для дальнейшего развития методов медицинского анализа, в том числе использования новых модальностей изображений для более точного диагностического анализа.