Dynamic Survival Prediction using Longitudinal Images based on Transformer

#### Контекст Survival analysis является ключевым инструментом в медицинской диагностике и прогнозировании, особенно при раннем выявлении и оценке прогноза заболеваний. Традиционные подходы часто ограничиваются однослойным анализом одной или нескольких медицинских картинок или структурированных данных, недостаточно учитывая сложности взаимосвязей между многомерными данными. Недостаток интерпретируемости и эффективности таких подходов приводит к значительным ограничениям в практическом применении survival analysis. Наша мотивация заключается в развитии метода, который мог бы объединить несколько медицинских изображений, измеренных на различных моментах времени, с структурированными данными для более точной и интерпретируемой оценки срока выживания. #### Метод Мы предлагаем SurLonFormer, новую архитектуру на базе Transformer, которая объединяет три составляющих: **Vision Encoder**, **Sequence Encoder** и **Survival Encoder**. Vision Encoder извлекает пространственные признаки из медицинских изображений, а Sequence Encoder агрегирует информацию о временных изменениях. Survival Encoder, основанный на модели Cox proportional hazards, интегрирует эти компоненты для точной оценки срока выживания. Этот подход позволяет эффективно обрабатывать censored data, учитывать корреляции между медицинскими изображениями, измеренными на разных моментах времени, и обеспечивает интерпретируемость результатов с помощью occlusion sensitivity analysis. #### Результаты Мы провести обширные эксперименты на симуляционных данных и реальных медицинских измерениях, включая задачу оценки срока выживания при Alzheimer's disease. SurLonFormer показал высокую точность и стабильность в прогностической моделировании, когда использовались данные из нескольких моментов времени. Модель также продемонстрировала высокую интерпретируемость, выделив значимые динамические характеристики, связанные с заболеванием. В сравнении с другими подходами, SurLonFormer показал значительные преимущества в объеме прогнозируемой информации и точности выявления образов, связанных с заболеванием. #### Значимость Наш подход может быть широко применен в диагностике, прогнозировании и мониторинге многих медицинских заболеваний, где необходимо учитывать динамические изменения, основанные на многомерных данных. SurLonFormer обеспечивает новый уровень точности и интерпретируемости, объединяя принципы Transformer-архитектур с медицинскими задачами. Это может привести к значительным улучшениям в практическом применении survival analysis в клинической практике. #### Выводы SurLonFormer достиг высокой точности в survival prediction, объединив медицинские изображения и структурированные данные. Мы также идентифицировали принципиальные динамические характеристики, связанные с заболеванием, которые могут быть использованы в буду