Anisotropic Fourier Features for Positional Encoding in Medical Imaging

#### Контекст Трансформер-подобные архитектуры находят все более широкое применение в медицинской области, особенно в области медицинской иммуграфии, где необходимо анализировать сложные формы, такие как органы, ткани или другие анатомические структуры. Однако адаптация этих архитектур к медицинским задачам сталкивается с рядом проблем. В частности, медицинские изображения часто обладают анизотропным характером, что означает, что размеры и характеристики различных структур могут существенно различаться в разных направлениях. Это создает сложности при применении общих позиционных кодирований (PE), которые часто используются в трансформерах. Кроме того, обычные линейные кодирования, такие как sinusoidal Positional Encodings (SPEs), хотя и показали высокую эффективность в визуальных задачах, не всегда успешно захватывают геометрические отношения в многомерных пространствах. Эти проблемы приводят к потере точности в результатах и неэффективности моделей. В данном исследовании мы сосредоточились на этих проблемах и предложили решение, которое учитывает анизотропию в медицинских изображениях. #### Метод Мы предложили **Anisotropic Fourier Feature Positional Encoding (AFPE)**, который является расширением Isotropic Fourier Feature Positional Encodings (IFPE) и учитывает анизотропию в изображениях. В отличие от IFPE, AFPE включает в себя анизотропные, класс-зависимые и домен-зависимые зависимости пространства. Методология AFPE основывается на расширении Fourier Features и их интеграции с трансформером для позиционного кодирования. Мы разработали математическую модель, позволяющую учитывать отношения длины в разных направлениях в пространстве изображения. Это позволяет нашей модели лучше адаптироваться к характеристикам медицинских изображений, которые часто обладают сильно анизотропным характером. Мы также использовали методы кросс-валидации и эксперименты на реальных данных, чтобы проверить эффективность нашей модели. #### Результаты Мы проверили AFPE на нескольких задачах в медицинской иммуграфии: классификации многомерных медицинских изображений (например, классификации легких на X-образцах), классификации органов на CT-сканах и регрессию эффективности сердечного отката (ejection fraction) на изображениях эхокардиографии. Мы сравнили AFPE с другими позиционными кодированиями, включая sinusoidal Positional Encodings (SPEs) и isotropic Fourier Feature Positional Encodings (IFPE). Наши результаты показали, что AFPE значительно выигрывает в решении задач в анизотропных условиях, где другие позиционные кодирования показывали снижение производительности. Кроме того, мы выявили, что в зависимости от формы объектов в изображении и их анизотропии, лучшую модель можно по