Accurate and Interpretable Postmenstrual Age Prediction via Multimodal Large Language Model
2508.02525v1
cs.AI
2025-08-09
Авторы:
Qifan Chen, Jin Cui, Cindy Duan, Yushuo Han, Yifei Shi
Резюме на русском
Определение постменструального возраста (PMA) присутствии новорожденного является критическим для оценки развития и здоровья новорожденного. Несмотря на высокую точность существующих нейронных сетей в предсказании PMA на основе МРТ мозга, эти модели часто остаются "черными ящиками", ограничивая их клиническую значимость. В данной работе предлагается адаптировать многомодальную большую модель языка (MLLM) для точного предсказания PMA и создания понятных клиническим специалистам выводов. Используется параметрно-эффективная методика оптимизации (PEFT), включающая инструкционное тюнинг и Low-Rank Adaptation (LoRA), примененные к модели Qwen2.5-VL-7B. Модель обучается на четырех 2D картах поверхностного слоя мозга из МРТ новорожденных. Она обеспечивает точность предсказания PMA с надежностью 95% в пределах 0,78–1,52 недель, при этом формируя информативные и понятные выводы, опирающиеся на развивающиеся особенности. Это решение повышает прозрачность и доверие AI-систем в области нейронаук.
Abstract
Accurate estimation of postmenstrual age (PMA) at scan is crucial for
assessing neonatal development and health. While deep learning models have
achieved high accuracy in predicting PMA from brain MRI, they often function as
black boxes, offering limited transparency and interpretability in clinical
decision support. In this work, we address the dual challenge of accuracy and
interpretability by adapting a multimodal large language model (MLLM) to
perform both precise PMA prediction and clinically relevant explanation
generation. We introduce a parameter-efficient fine-tuning (PEFT) strategy
using instruction tuning and Low-Rank Adaptation (LoRA) applied to the
Qwen2.5-VL-7B model. The model is trained on four 2D cortical surface
projection maps derived from neonatal MRI scans. By employing distinct prompts
for training and inference, our approach enables the MLLM to handle a
regression task during training and generate clinically relevant explanations
during inference. The fine-tuned model achieves a low prediction error with a
95 percent confidence interval of 0.78 to 1.52 weeks, while producing
interpretable outputs grounded in developmental features, marking a significant
step toward transparent and trustworthy AI systems in perinatal neuroscience.
Ссылки и действия
Дополнительные ресурсы: