Curia: A Multi-Modal Foundation Model for Radiology

## Контекст Ассистированное исследование интерпретации радиологических изображений через ИИ становится все более распространенным, однако действующие подходы ограничиваются тесно специализированными моделями, распространенными только на определенные модальности и задачи. Эта жесткая структура ограничивает модели в объеме и глубине обучения, делая их менее эффективными в сложных средах с разнообразными задачами и недостатком данных. Базовые модели (Foundation Models, FM), предлагающие расширенную общность и универсальность, пока не были полностью реализованы в радиологии. Мы предлагаем Curia, модель, обученную на большом объеме реальных данных — 150 тысяч радиологических исследований (130 терабайт), сборенных за несколько лет в крупном медицинском центре. Curia может распознавать органы, диагностировать серьезные заболевания, такие как головные травмы и инфаркты, и даже предсказывать их интенсивность. Мы проверили Curia на 19-задачной внешней базе данных, и она показала не только высокую точность, но и уникальные способности к кросс-модальности и обучению в условиях недостатка данных. ## Метод Curia является моделью с трансформером, обученной на огромном датасете, состоящем из разнообразных радиологических изображений, включая ТЭЭГИ, МРТ и ЭКТ. Архитектура Curia основывается на многомодальной обработке входных данных и использует сложный механизм взаимодействия между модальностями для глубокого понимания изображений. Мы применяли подходы, позволяющие модели адаптироваться к различным задачам с минимальным количеством тренировочных данных. Методы включали в себя многоуровневые слои рекуррентных нейронных сетей для понимания контекста изображений и обучение с подкреплением для оптимизации поведения в различных сценариях. ## Результаты Мы проверили Curia в 19 задачах на новой внешней базе данных. Модель показала высокую точность в распознавании органов, диагностировании заболеваний (например, головных травм и инфарктов) и предсказании результатов лечения болезней. Например, Curia лучше, чем не только современные модели, но и роботов-радиологов. Она превзошла радиологов в задачах, требующих не только точности, но и кросс-модальностного понимания. Наши эксперименты показали, что Curia может быть применена в условиях недостатка данных, что делает ее привлекательной для медицинских учреждений с ограниченным доступом к обучающим исходным данным. ## Значимость Предлагаемая модель может быть применена в различных областях радиологии, включая диагностику, мониторинг и лечение различных заболеваний. Одним из основных преимущест