Beyond Imaging: Vision Transformer Digital Twin Surrogates for 3D+T Biological Tissue Dynamics

#### Контекст Область исследований, ориентированная на понимание динамики организации и гомеостаза живых тканей, требует высококачественных временных серий изображений, а также методов, позволяющих извлекать интерпретируемые и прогностические аналитические выводы из сложных данных. Несмотря на развитие методов изображения, включая многослойные сети и формализмы нейровизуализации, существует недостаток в систематических подходах к моделированию и визуализации тканевых динамик. Этот недостаток ограничивает возможности выполнения виртуальных экспериментов в биологических исследованиях. Мотивация заключается в разработке новых методик, которые могут обеспечить высокоточные, временно резолюционные модели для томографических изображений в реальном времени, позволяющих интеллектуального анализа и моделирования тканевых процессов. #### Метод Предложенный подход, названный Vision Transformer Digital Twin Surrogate Network (VT-DTSN), является глубоким обучением, основанным на трансформерах с в site pretraining, использующим DINO (Self-Distillation with NO Labels). Модель принимает в качестве входных данных последовательные сечения ткани живого организма, полученные с помощью временных серий томографических изображений, и предсказывает их временную динамику в 3D+T пространстве. Архитектура VT-DTSN включает несколько ключевых модулей: Vision Transformer для локального представления входных изображений, Multi-view Fusion Block для объединения многопрослойных сечений и Feature Alignment Module для сохранения биологической правдоподобности выходных данных. Для обучения используется составной функционал ошибки, который оптимизирует пиксельную точность, разрешение структуры и согласование в функциональных пространствах. Такой подход обеспечивает высокую точность моделирования и эффективность вычислений. #### Результаты В экспериментах были использованы временные серии изображений Drosophila midgut, полученные с помощью томографических изображений в реальном времени. VT-DTSN был обучен на данных с высоким разрешением и проверен на независимых наборах данных. Результаты показывают, что модель достигает очень высокой точности в описании динамики тканей, с минимальным погрешностным расхождением и высокой детализацией биологических структур. Было проанализировано влияние различных модулей модели, включая Multi-view Fusion и Feature Alignment, на качество результатов. Было показано, что VT-DTSN позволяет эффективно моделировать тканевые процессы в реальном времени, обеспечивая возможность виртуальных экспериментов и теоретических исследований. #### Значимость Разработанная модель открывает новые возможности в моделировании тканевых процессов в биологии. Ее применение может быть распространено