DiffUS: Differentiable Ultrasound Rendering from Volumetric Imaging
2508.06768v1
cs.CV, cs.GR
2025-08-14
Авторы:
Noe Bertramo, Gabriel Duguey, Vivek Gopalakrishnan
Резюме на русском
## Контекст
Улучшение оперативного взаимодействия с использованием ультразвукового изображения является ключевым поводом для развития хирургических технологий. Однако наличие шума, искажений и недостаточной алгонизации с предельно высокоразрешенными сканами МРТ/КТ ограничивает эффективность. Целью проекта DiffUS является создание физически-кратного, дифференцируемого симулятора ультразвука, который моделирует реалистичные B-режимные изображения на основе трехмерных МРТ-сканов.
## Метод
Статья описывает пошаговую методологию для получения реалистичных симуляций ультразвука:
1. **Преобразование МРТ-сканов**: Используется машинное обучение для преобразования трехмерных сканов МРТ в высококачественные акустические импедансные модели.
2. **Моделирование ультразвукового распространения**: Реализована физическая модель с учетом парного взаимодействия отражений и преломлений, описанных уравнениями разделения.
3. **Синтез B-режима**: Данные МРТ используются для реконструкции B-режима, включая эффекты шума и деградации в зависимости от глубины.
4. **Реализация в PyTorch**: Все участки системы реализованы как дифференцируемые операции, обеспечивающие градиентно-поддерживаемые оптимизации.
## Результаты
Анализ на ReMIND-датасете показал, что DiffUS способен генерировать B-режимные изображения, в точности соответствующие анатомическим характеристикам. Это достигается благодаря точной моделированию шума, артефактов и глубинной зависимости визуализации.
## Значимость
DiffUS открывает новые возможности для областей регистрации сканов, восстановления объемных структур и подготовки операций. Он может повысить точность хирургических процедур, улучшить диагностические возможности и способствовать развитию интеллектуальных хирургических технологий.
## Выводы
DiffUS является прорывом в синтезе ультразвуковых изображений. Его развитие может привести к более эффективным методам регистрации, оценки и хирургических операций. Будущие исследования будут фокусироваться на расширении модели для других видов тканей и улучшении точности в условиях реального операционного пространства.
Abstract
Intraoperative ultrasound imaging provides real-time guidance during numerous
surgical procedures, but its interpretation is complicated by noise, artifacts,
and poor alignment with high-resolution preoperative MRI/CT scans. To bridge
the gap between reoperative planning and intraoperative guidance, we present
DiffUS, a physics-based, differentiable ultrasound renderer that synthesizes
realistic B-mode images from volumetric imaging. DiffUS first converts MRI 3D
scans into acoustic impedance volumes using a machine learning approach. Next,
we simulate ultrasound beam propagation using ray tracing with coupled
reflection-transmission equations. DiffUS formulates wave propagation as a
sparse linear system that captures multiple internal reflections. Finally, we
reconstruct B-mode images via depth-resolved echo extraction across fan-shaped
acquisition geometry, incorporating realistic artifacts including speckle noise
and depth-dependent degradation. DiffUS is entirely implemented as
differentiable tensor operations in PyTorch, enabling gradient-based
optimization for downstream applications such as slice-to-volume registration
and volumetric reconstruction. Evaluation on the ReMIND dataset demonstrates
DiffUS's ability to generate anatomically accurate ultrasound images from brain
MRI data.
Ссылки и действия
Дополнительные ресурсы: