Generative AI Pipeline for Interactive Prompt-driven 2D-to-3D Vascular Reconstruction for Fontan Geometries from Contrast-Enhanced X-Ray Fluoroscopy Imaging

2509.13372v1 eess.IV, cs.AI, cs.CV, cs.ET, q-bio.QM, 92C50, 68T07, 76D05, 65D18, 92C55, I.4.6; I.4.8; J.3; I.2.10; I.4.9 2025-09-19
Авторы:

Prahlad G Menon

Резюме на русском

#### Контекст Fontan palliation является ключевым подходом к лечению унарного вентильного сердца у детей. Однако, данный подход часто приводит к гемодинамическому сбою, особенно в связи с болезненно сложными геометриями и сложностями в процессе. Несмотря на использование современных методов геометрической моделирования, центральные проблемы связаны с недостаточной точностью в описании труднодиагностируемых геометрических раскладов, а также с геометриями, относящимися к системе вен, которые не характеризуются достаточно детально с помощью традиционных 2D- и 3D-изображений. Эта ситуация крайне требует развития новых подходов, которые могут предоставить более точную геометрию Фонтана с помощью интерактивной компьютерной технологии. #### Метод Мы разработали многоэтапную AI-прямую трубу для генерирования 2D-2D геометрических моделей для Фонтана. Эта система основана на Google Gemini 2.5 Flash и Tencent Hunyuan3D-2mini, используя transformer-based neural architecture. Эта система включает стадии предобработки изображений, сегментации вариантов, улучшения контраста, удаления артефактов и визуализации виртуального потока внутри 2D-проекций. Обработка производится через 16 шагов в последовательности, а в результате генерируются виртуальные модели, которые могут быть использованы для CFD-анализа. #### Результаты Процесс синтеза 2D-2D моделей был достигнут за менее 15 минут с помощью нашей AI-прямой трубы. Мы провели эксперименты с использованием данных по Fontan-операции, которые были отобраны из современных источников. Наша система удалось генерировать подробные геометрические модели с улучшенной контрастностью, что делает их подходящими для 3D-конвертации. Также, наша система смогла идентифицировать зоны стагнации в центральных соединениях и распределение потока в ветвях артерий. Эти результаты были получены с помощью виртуальной визуализации потока. #### Значимость Наша AI-прямая труба может быть использована в медицинских направлениях, в том числе для генерирования геометрически оптимизированных 2D-моделей из 2D-изображений. Она предлагает преимущества в улучшении точности диагностики и снижении времени, необходимого для подготовки данных для CFD-анализа. Этот подход может иметь значительное влияние на развитие новых методов геометрического моделирования в медицине, которые могут быть использованы для широкого спектра приложений, включая улучшение точности 3D-моделей в Fontan-операциях. #### Выводы Мы установили, что наша AI-прямая труба является выдающимся спосо

Abstract

Fontan palliation for univentricular congenital heart disease progresses to hemodynamic failure with complex flow patterns poorly characterized by conventional 2D imaging. Current assessment relies on fluoroscopic angiography, providing limited 3D geometric information essential for computational fluid dynamics (CFD) analysis and surgical planning. A multi-step AI pipeline was developed utilizing Google's Gemini 2.5 Flash (2.5B parameters) for systematic, iterative processing of fluoroscopic angiograms through transformer-based neural architecture. The pipeline encompasses medical image preprocessing, vascular segmentation, contrast enhancement, artifact removal, and virtual hemodynamic flow visualization within 2D projections. Final views were processed through Tencent's Hunyuan3D-2mini (384M parameters) for stereolithography file generation. The pipeline successfully generated geometrically optimized 2D projections from single-view angiograms after 16 processing steps using a custom web interface. Initial iterations contained hallucinated vascular features requiring iterative refinement to achieve anatomically faithful representations. Final projections demonstrated accurate preservation of complex Fontan geometry with enhanced contrast suitable for 3D conversion. AI-generated virtual flow visualization identified stagnation zones in central connections and flow patterns in branch arteries. Complete processing required under 15 minutes with second-level API response times. This approach demonstrates clinical feasibility of generating CFD-suitable geometries from routine angiographic data, enabling 3D generation and rapid virtual flow visualization for cursory insights prior to full CFD simulation. While requiring refinement cycles for accuracy, this establishes foundation for democratizing advanced geometric and hemodynamic analysis using readily available imaging data.

Ссылки и действия