Decipher-MR: A Vision-Language Foundation Model for 3D MRI Representations

## Контекст Магнитная резонансная импедансometrie (MRI) является ключевым медицинским исследованием, используемым в клинической диагностике и исследованиях. Однако сложность и гетерогенность MRI создают серьезные вызовы для автоматизированного анализа, особенно при стремлении к скейлируемым и широко применимым моделям машинного обучения. Несмотря на то, что фаундациональные модели полностью изменили области естественного языка и визуального понимания, их применение к MRI остается ограниченным из-за недостатка данных и ограниченного анатомического фокуса. Для решения этих проблем мы предлагаем Decipher-MR — модель, основанную на обучении с подкреплением статичной и текстовой связи для 3D MRI. ## Метод Decipher-MR обучается на большом датасете, состоящем из 200 000 MRI-серий, полученных из более чем 22 000 исследований, охватывающих различные анатомические регионы, последовательности и патологии. Модель включает в себя самостоятельное визуальное обучение и текстовое руководство отчетов, чтобы построить широко распространенные и выносливые представления. Для обеспечения эффективного применения в разных клинических задачах, Decipher-MR имеет модульный дизайн, позволяющий настроить легкие, задаче-специфические декодеры, привязанные к замороженному предварительно обученному энкодеру. ## Результаты Мы оценили Decipher-MR на широком спектре задач, включая классификацию заболеваний, прогноз демографических признаков, локализацию анатомии и кросс-модальный поиск. Модель показала значительные улучшения по сравнению с другими моделями фаундациональных моделей и задаче-специфическими подходами. Наши результаты подтверждают Decipher-MR как скейлируемую и универсальную фаундациональную модель для MRI, которая обеспечивает эффективное развитие в области клинической практики и исследований. ## Значимость Decipher-MR может применяться в различных клинических областях, включая диагностику заболеваний, прогнозирование демографических признаков и анатомическую локализацию. Его модульный дизайн позволяет легко адаптировать модель к различным задачам с минимальным вычислительным накладным расходом. Это делает Decipher-MR важной инструментом для ускорения развития AI в области MRI, обеспечивая точность и универсальность в работе с медицинскими изображениями. ## Выводы Decipher-MR устанавливает новые академические и практические стандарты для MRI-based AI. Наша модель демонстрирует высокую точность и универсальность в различных задачах клинического анализа. Будущие исследования будут сфокусированы на расширении Decipher-MR для более широких медицинских применений и его интеграции с другими моделями машин