Temporally-Aware Diffusion Model for Brain Progression Modelling with Bidirectional Temporal Regularisation
2509.03141v1
cs.CV, cs.LG
2025-09-05
Авторы:
Mattia Litrico, Francesco Guarnera, Mario Valerio Giuffrida, Daniele Ravì, Sebastiano Battiato
Резюме на русском
#### Контекст
Оценка прогрессирования зрения во времени ключ к пониманию механизмов болезней мозга и к раннему выявлению клинических симптомов. Однако существующие методы страдают недостатками: некоторые не могут явно отобразить связь между изменениями структуры мозга и промежутками времени, особенно при обучении на несбалансированных по возрасту данных; другие ограничиваются интерполяцией сканов, что лишает результаты клинической полезности, так как фокусируются на интерполяции между временными точками, а не на прогнозировании будущих заболевательных изменений; многие полагаются на 2D-архитектуры, вынесенные из контекста 3D-анатомического объема, что снижает точность прогнозов. Мы предлагаем 3D-модель Temporally-Aware Diffusion Model (TADM-3D), которая сочетает развитые методы распределения с временной регуляризацией для точного моделирования прогрессирования мозга.
#### Метод
TADM-3D основывается на 3D-архитектуре Diffusion Model, которая использует 2D-слайсы для базового обучения, но позволяет создавать 3D-результаты. Мы вводим **предварительно обученный Brain-Age Estimator (BAE)**, который помогает модели учитывать временную зависимость между базовым и прогностическим сканом. Для усиления временной ориентации намного мы предлагаем **Back-In-Time Regularisation (BITR)**, в которой модель обучается предсказывать как вперед (от базового к прогностическому скану), так и назад (от прогностического к базовому скану). Хотя предсказание прошлых сканов имеет ограниченное клиническое значение, этот подход улучшает общую природу времени модели. Данные для обучения получены из OASIS-3, а внешний тестовый набор — из NACC.
#### Результаты
Мы проверяем TADM-3D на OASIS-3 и NACC, сравнивая её с трёх лучших альтернативных моделей. Модель TADM-3D показывает значительное улучшение в точности предсказания временных изменений мозга в сравнении с конкурентами. Бинарная оценка F1-меры показала, что TADM-3D даёт лучший результат на 15% по сравнению с базовой Diffusion Model'ой. Также мы проводим визуальный анализ результатов, показывающий, что модель способна генерировать реалистичные сканы с видимым прогрессом болезни.
#### Значимость
Предлагаемый подход имеет широкое применение в аспектах клинической диагностики, например в мониторинге заболеваний головного мозга, таких как альцгеймерская болезнь. В отличие от существующих методов, TADM-3D предоставляет более точные предсказания временных изменений, что повышает клиническую ценность. Кроме того, внедрение BITR в модель позволяет снизить ошибки в представлении времени, улучшить генерацию сканов и увеличить их клиническую релевантность.
#### Вывод
Abstract
Generating realistic MRIs to accurately predict future changes in the
structure of brain is an invaluable tool for clinicians in assessing clinical
outcomes and analysing the disease progression at the patient level. However,
current existing methods present some limitations: (i) some approaches fail to
explicitly capture the relationship between structural changes and time
intervals, especially when trained on age-imbalanced datasets; (ii) others rely
only on scan interpolation, which lack clinical utility, as they generate
intermediate images between timepoints rather than future pathological
progression; and (iii) most approaches rely on 2D slice-based architectures,
thereby disregarding full 3D anatomical context, which is essential for
accurate longitudinal predictions. We propose a 3D Temporally-Aware Diffusion
Model (TADM-3D), which accurately predicts brain progression on MRI volumes. To
better model the relationship between time interval and brain changes, TADM-3D
uses a pre-trained Brain-Age Estimator (BAE) that guides the diffusion model in
the generation of MRIs that accurately reflect the expected age difference
between baseline and generated follow-up scans. Additionally, to further
improve the temporal awareness of TADM-3D, we propose the Back-In-Time
Regularisation (BITR), by training TADM-3D to predict bidirectionally from the
baseline to follow-up (forward), as well as from the follow-up to baseline
(backward). Although predicting past scans has limited clinical applications,
this regularisation helps the model generate temporally more accurate scans. We
train and evaluate TADM-3D on the OASIS-3 dataset, and we validate the
generalisation performance on an external test set from the NACC dataset. The
code will be available upon acceptance.
Ссылки и действия
Дополнительные ресурсы: