MM-DINOv2: Adapting Foundation Models for Multi-Modal Medical Image Analysis

## Контекст Область медицинского интеллектуального анализа данных становится все более важной в современной медицине, поскольку задачи классификации и определения медицинских состояний чрезвычайно важны для диагностики и лечения различных заболеваний. Несмотря на прогрессы в области машинного обучения, многие медицинские задачи столкнутся с проблемами, такими как ограниченность медицинских данных, несогласованность в данных, а также высокая стоимость и сложность получения медицинских анализов. В частности, многие задачи классификации требуют обработки нескольких модальностей данных (например, изображений и текстов), что делает их еще более сложной. В этом контексте возникает потребность в поиске эффективных решений, которые могут обрабатывать несколько модальностей данных, обучаться с помощью малого количества отмеченных данных и обеспечивать высокую точность. ## Метод Мы предлагаем MM-DINOv2 — развитие универсальной модели DINOv2, которая была изначально разработана для обработки изображений, но недостаточно эффективна для многомодальных задач в медицине. Мы расширяем DINOv2, предлагая новую многомодальную архитектуру, которая может обрабатывать несколько модальностей данных (например, изображения и текстовые метки). Для улучшения обучения в условиях недостатка отмеченных данных, мы используем подходы семи-супервайзед обучения, которые позволяют модели учиться из неотмеченных данных. Мы также вводим полную маскировку модальности, чтобы она могла быть обучена даже в случае отсутствия определенных модальностей. Это позволяет модели не только обрабатывать отсутствующие данные, но и выводить информацию из других модальностей. ## Результаты Мы проводим эксперименты на задаче классификации типов глиомы из многопоследовательных MRI. Мы используем DINOv2 в качестве основы и сравниваем его с нашим MM-DINOv2. Мы получаем следующие результаты: точность классификации на внешнем тестовом наборе данных составила 0,62 при использовании MM-DINOv2, что значительно выше результатов DINOv2 (+11,1%). Кроме того, мы проводим эксперименты на других задачах медицинского анализа и показываем, что наш подход значительно улучшает качество предсказаний в случаях, когда отсутствуют некоторые модальности данных. ## Значимость Наш подход имеет многочисленные применения в различных медицинских задачах, которые требуют обработки многомодальных данных. Например, в области нейрологии, где требуется классификация типов глиомы, или в районе онкологии, где требуется определять раннюю стадию рака. Мы усиливаем точность и надежность медицинских предсказаний в условиях недостатка отмеченных данных