Robust Tracking with Particle Filtering for Fluorescent Cardiac Imaging

2508.05262v1 cs.CV, cs.AI 2025-08-09
Авторы:

Suresh Guttikonda, Maximilian Neidhart, Johanna Sprenger, Johannes Petersen, Christian Detter, Alexander Schlaefer

Резюме на русском

## КОНТЕКСТ И ПРОБЛЕМАТИКА Коронарное шунтирование (CABG) остаётся «золотым стандартом» лечения многовеселой ишемической болезни сердца, но его долгосрочный успех напрямую зависит от проходимости создаваемых шунтов. Современные операционные залы оснащаются гибридными системами: после завершения анастомозов хирург может ввести флуоресцентный индикатор (чаще всего индоцианин-зелёный — ICG) и в реальном времени оценивать микроциркуляцию миокарда. Получаемые при этом видеопотоки (обычно 25–30 кадр/с, разрешение 512×512–1024×1024) содержат богатую динамическую информацию: начальный «wash-in» красителя, плато и «wash-out» фазы дают возможность вычислить количественные показатели — время до пика, скорость накопления, площадь под кривой и др. Эти параметры коррелируют с ранним функциональным результатом, позволяя хирургу принимать решение о корректировке плохо перфузируемых участков ещё до закрытия грудной клетки. Однако само сердце продолжает сокращаться, создавая сложную трёхмерную траекторию движения: поворот вокруг оси, смещение основания и вершины, а также высокочастотные вибрации, вызванные вентиляцией лёгких. Кроме того, при наполнении коронарных сосудов ICG структурно обогащается сеть мельчайших артериол и венул, что приводит к резким изменениям яркости, контраста и текстур. Традиционные методы отслеживания опорных точек — от простого KLT-трекера до современных свёрточных нейросетей (Siamese, GOTURN, SiamRPN) — терпят неудачу: либо теряют цель при масштабных изменениях, либо «прилипают» к похожим текстурам соседних сосудов. В результате хирург вынужден полагаться на субъективную оценку «на глаз», а количественная перфузионная карта остаётся неточной. Работа Guttikonda и коллег ставит цель разработать трекер, который был бы одновременно: 1) точным (ошибка < 5 px при разрешении 512×512), 2) устойчивым к контрастным всплескам, 3) масштабируемым до сотен одновременно отслеживаемых точек, и 4) работающим в реальном времени на оборудовании операционной. ## ПРЕДЛОЖЕННЫЙ МЕТОД Авторы предлагают гибридную архитектуру, объединяющую классический фильтр частиц (Sequential Importance Resampling, SIR) с «циклической проверкой согласованности» (cyclic-consistency check). Вход — последовательность флуоресцентных кадров Iₜ, предобработанных гауссовым размытием (σ = 0.8 px) для подавления шумов CMOS-матрицы. Для каждого целевого ландшафта (например, bifurcation коронарной артерии) формируется множество из N = 300 частиц-гипотез {xₜⁱ}ᵢ₌₁ᴺ, где xₜⁱ = (u, v, ẋ, ẏ, θ, s) — 6-мерный вектор состояния: координаты, скорости, вращение и масштаб. Динамическая модель задаётся как xₜ = A xₜ₋₁ + qₜ, где A — матрица постоянной скорости, а qₜ ~ 𝒩(0, Q) учитывает случайные колебания миокарда. Главная инновация — двухэтапный цикл согласованности. Сначала прямой проход (forward pass): частицы прогнозируются из t–1 в t. Затем обратный проход (backward pass): те же частицы регрессируются обратно в t–1 и сравниваются с исходными положениями. Расстояние ‖xₜ₋₁ⁱ − x̂ₜ₋₁ⁱ‖ используется как метрика надёжности wₜⁱ ∝ exp(−‖·‖²/2σ²). Эта процедура эффективно подавляет «дрейф» на текстурно похожих сосудах: если частица ошиблась в прямом направлении, обратный шаг возвращает её далеко от истины, и её вес резко падает. Для измерения правдоподобия применяется адаптивное цветовое моделирование: каждая частица строит локальную цветовую гистограмму HSV (16×4×4 бина) вокруг якорной точки и сравнивает её с шаблоном H* из первого кадра с помощью дивергенции Бхаттачарьи. Также используется аппаратная оптимизация: вычисления распараллелены на GPU (CUDA kernels) с использованием shared memory для

Abstract

Intraoperative fluorescent cardiac imaging enables quality control following coronary bypass grafting surgery. We can estimate local quantitative indicators, such as cardiac perfusion, by tracking local feature points. However, heart motion and significant fluctuations in image characteristics caused by vessel structural enrichment limit traditional tracking methods. We propose a particle filtering tracker based on cyclicconsistency checks to robustly track particles sampled to follow target landmarks. Our method tracks 117 targets simultaneously at 25.4 fps, allowing real-time estimates during interventions. It achieves a tracking error of (5.00 +/- 0.22 px) and outperforms other deep learning trackers (22.3 +/- 1.1 px) and conventional trackers (58.1 +/- 27.1 px).

Ссылки и действия