Coarse-to-Fine Joint Registration of MR and Ultrasound Images via Imaging Style Transfer

## КОНТЕКСТ И ПРОБЛЕМАТИКА Регистрация магнитно-резонансных (MR) и ультразвуковых (US) изображений представляет собой критически важную задачу в нейрохирургии, особенно при планировании и навигации во время операций по удалению опухолей головного мозга. Современная нейрохирургическая практика требует точного совмещения предоперационных данных МРТ, которые предоставляют высококонтрастные анатомические структуры, с пострезекционными ультразвуковыми изображениями, которые позволяют врачам в реальном времени оценить полноту удаления опухолевой ткани. Однако существует ряд фундаментальных проблем, которые препятствуют эффективной регистрации этих модальностей. Первая и наиболее значительная проблема заключается в кардинальном различии физических принципов формирования изображений. МРТ использует ядерный магнетизм и радиочастотные импульсы для создания детализированных анатомических снимков, тогда как ультразвук основан на отражении акустических волн, что приводит к значительно более низкому пространственному разрешению и различным типам артефактов. Это различие приводит к тому, что даже одна и та же анатомическая структура будет выглядеть совершенно по-разному на изображениях разных модальностей. Вторая проблема связана с изменениями, происходящими в мозге во время операции. После вмешательства происходит смещение мозговых тканей, изменение формы желудочков, появление отёков и гематом, что делает прямую точечную регистрацию предоперационных и постоперационных изображений практически невозможной. Традиционные методы регистрации, основанные на сопоставлении интенсивностей пикселей, оказываются неэффективными из-за этих драматических изменений. Кроме того, существует проблема отсутствия парных данных для обучения. Получение идеально зарегистрированных пар MR-US изображений представляет собой трудоемкий и дорогостоящий процесс, который требует участия экспертов-радиологов и нейрохирургов. Это ограничивает возможности применения методов глубокого обучения, которые требуют больших объемов обучающих данных. ## ПРЕДЛОЖЕННЫЙ МЕТОД Авторы статьи предлагают инновационный многоступенчатый подход к регистрации MR и US изображений, который решает описанные проблемы через комбинацию нейростилевого переноса и крупномасштабной деформируемой регистрации. Центральным элементом предложенной методики является использование 3D CycleGAN для генерации синтетических T1-взвешенных MR изображений из ультразвуковых данных, что позволяет существенно уменьшить разрыв между модальностями. Архитектура CycleGAN адаптирована для работы с трехмерными медицинскими изображениями. Генераторы модели используют 3D сверточные слои с пропусками (dilated convolutions) для увеличения рецептивного поля и эффективного захвата долгосрочных зависимостей в пространственных данных. Дискриминаторы реализованы в виде 3D PatchGAN, которые оценивают реалистичность локальных патчей размером 70x70x70 вокселей. Для стабилизации обучения применяется спектральная нормализация в слоях дискриминатора и цикловая консистентная потеря, которая гарантирует, что обратное преобразование восстановит исходное изображение. Процесс регистрации организован по схеме "грубо-к-тонкому" (coarse-to-fine). На первом этапе применяется аффинное преобразование, которое выполняет глобальное выравнивание изображений через вращение, масштабирование и трансляцию. Для оптимизации аффинных параметров используется нормализованная взаимная информация в качестве функции потерь, что позволяет эффективно работать даже при значительных различиях в интенсивностях между модальностями. На втором этапе реализуется локальная деформируемая регистрация с использованием свободно деформируемой модели (free-form deformation) на основе B-сплайнов. Деформационное поле параметризуется регулярной сеткой контрольных точек, где каждая точка может смещаться в трех направлениях. Для предотвращения чрезмерной деформации применяется гладкое регуляризационное слагаемое, которое штрафует большие значения градиентов деформационного поля. Оптимизация выполняется через градиентный спуск с адаптивным шагом обучения. ## ЭКСПЕРИМЕН