A Multimodal Foundation Model to Enhance Generalizability and Data Efficiency for Pan-cancer Prognosis Prediction

#### Контекст Область исследования заключается в развитии многомодальных моделей для прогноза показателей рака. Несмотря на выгодные свойства многомодальных данных, таких как патологические изображения, клинические отчеты и геномические данные, существующие модели часто сталкиваются с проблемами понимания такого типа данных и эффективного извлечения универсальных представлений. Эти ограничения приводят к узкому фокусу моделей и снижают их общий потенциал. Таким образом, возникает потребность в моделях, которые могут эффективно интегрировать различные модальности данных и обеспечивать широкое применение в разных сценариях клинического предсказания. #### Метод Предлагаемая модель, названная MICE (Multimodal data Integration via Collaborative Experts), представляет собой многомодальную фундаментальную модель, которая использует несколько функционально разнородных экспертов для извлечения кросс-канцеровых и канцеро-специфических представлений. В отличие от традиционных многоэкспертных моделей, MICE применяет контрастное обучение и супервизированное обучение, чтобы улучшить общие показатели модели. Данные, использованные для обучения, включают более 11 799 пациентов, покрывающих 30 различных типов рака. Эта структура позволяет модели стать более универсальной и эффективной в использовании данных. #### Результаты Experiments were conducted using internal and independent validation cohorts. MICE demonstrated outstanding performance by achieving substantial improvements in C-index, ranging from 3.8% to 11.2% across internal cohorts and 5.8% to 8.8% on independent cohorts. Эти результаты показывают высокую точность и стабильность модели в прогнозировании прогноза рака. Более того, MICE продемонстрировала высокую данность при работе с различными клиническими сценариями, что делает ее применимой для различных пациентских групп. #### Значимость MICE может применяться в различных клинических сценариях, таких как определение риска рака, персонализация терапии и мониторинг течения заболевания. Она предлагает значительные преимущества, такие как улучшение точности прогноза, уменьшение потребности в больших объемах данных и увеличение эффективности в клиническом применении. Это модель может иметь сильное влияние на рак-релевантные исследования и клиническую практику, помогая в разработке новых терапий и улучшении результатов лечения. #### Выводы MICE подтверждает свою эффективность в области многомодальных моделей для прогноза рака. Она устанавливает новый стандарт для общей ценности и эффективности в обработке многомодальных данных. Будущие исследования будут сконцентрированы на расширении MICE для других типов рака, а также на улучшении ее точности и терапевтического потенциала.