Scalable and Loosely-Coupled Multimodal Deep Learning for Breast Cancer Subtyping

## Контекст Здравоохранение — это широкомасштабная и многоаспектная область, где внедрение различных данных способствует усовершенствованию клинических задач. Одной из важнейших задач является мультимодальное морфологическое подтипирование раков груди, которое играет ключевую роль в формировании персонализированных тактик лечения и улучшении прогноза болезни. Несмотря на возможности интеграции многообразных данных, таких как копийное вариационное изменение (CNV), клинические записи и истории лабораторных исследований, недостаточное использование таких моделей приводит к ограниченным результатам. В настоящей работе предлагается многомодальный подход, который адаптируется к различным клиническим условиям и может легко расширяться на другие виды рака. ## Метод Предложенный подход основывается на многомодальной нейронной сети, которая использует различные модели для разных типов данных. Для изображений гистопатологических примеров (WSIs) была разработана двойная архитектура, сочетающая традиционные изображения с графом WSI. Это позволяет усилить информативность модели за счет объединения визуальных паттернов и структурных связей. Для комбинации модальностей вводится стратегия мультимодального слияния, которая позволяет гибко адаптироваться к различным видам клинических данных. Была также разработана система, которая просто и эффективно может масштабироваться для работы с новыми модальностями без требования к переувеличению модели. ## Результаты Использовались данные с различных уровней молекулярных подтипов рака груди, основываясь на CNV, клинических записях и гистопатологических изображениях. Модель была тестирована на разных кросс-валидациях, сравнивая результаты с современными методами. Наблюдался значительный выигрыш в точности и уменьшение ошибки по сравнению с текущими методами. Добавление новых модальностей не требует переувеличения модели, что делает процесс более эффективным и гибким. ## Значимость Предложенная модель может быть применена в различных клинических задачах, включая диагностику и молекулярное подтипирование рака. Универсальная архитектура, подходящая для различных модальностей, обеспечивает гибкость и масштабируемость. Этот подход может повысить точность диагноза и помочь в формировании персонализированных тактик лечения, что в конечном счете способствует улучшению прогноза для пациентов. ## Выводы Мультимодальный подход, основанный на двойной архитектуре WSI, комбинации CNV и клинических данных, показал выдающиеся результаты в морфологическом подтипировании рака груди. Будущие исследования буду