Large-scale Multi-sequence Pretraining for Generalizable MRI Analysis in Versatile Clinical Applications

#### Контекст Многосеквентное магнитное резонансное исследование (МРИ) является важной методикой в радиологии, позволяющей различать разные типы тканей благодаря использованию различных секвенций. Однако, несмотря на свою гибкость, данная методика сталкивается с значительными проблемами в области генерализуемости динамических моделей, особенно в случае с изменением параметров активации. Эти модели часто сталкиваются с проблемой недостаточной универсальности при применении к разнородным данным, что затрудняет их адаптацию к различным клиническим задачам. Большинство существующих моделей не включают в свой кадр различные секвенции МРИ, что приводит к потерям в общей универсальности и стабильности моделей. Таким образом, существует необходимость в разработке моделей, которые могут объединить различные секвенции МРИ, чтобы обеспечить лучшую прогностическую способность, активность и общую генерализуемость. #### Метод Мы предлагаем PRISM (PRe-trained with large-scale multI-Sequence MRI) как основную модель с предварительной обученной сетью, которая подразумевает расширенную многосеквентную обработку MRI. Мы собрали большую коллекцию данных из 64 различных наборов данных, включая 8 публичных и 26 частных датасетов, содержащих видео изображения, полученные с различных секвенций МРИ. Для построения основной модели мы использовали 336,476 вольтровных МРИ-сканов, различающихся по типу тканей и исследовательским подходом. Предлагаемая модель включает в свой архитектурный подход два основных момента: 1. Отделение анатомически независимых функций от последовательностей, связанных с МРИ. 2. Обеспечение высокоуровневых семантических представлений, которые могут быть использованы для различных задач в клинической практике. Мы использовали нелинейные модели, которые были обучены с помощью данных с различных секвенций, чтобы сформировать общую модель, удовлетворяющую требованиям многозначной клинической аналитики. #### Результаты Мы проводили эксперименты для оценки модели PRISM на 44 различных клинических задачах, включая задачи диагностики, сегментации изображений, регистрации, прогноза течения заболевания и генерации текстовых отчетов. Модель была проверена на 32 публичных и 5 частных когортных данных. Результаты показали, что PRISM стабильно выполняет лучше остальных непредварительно обученных моделей и даже некоторых существующих основных моделей. Она достигла победы с статистически значимыми улучшениями в 39 из 44 задач, что демонстрирует ее высокую генерализуемость и устойчивость к различным секвенци