Few-Shot Deployment of Pretrained MRI Transformers in Brain Imaging Tasks

## Контекст Машинное обучение с использованием трансформеров показало свою эффективность в области медицинской иммуниграфии. Однако, несомненно, применение этих моделей в реальной клинической практике сталкивается с рядом проблем, в том числе их зависимость от больших объемов отмеченных данных, что делает их реализацию в условиях дефицита данных весьма сложной. Наша исследовательская группа изучает возможность применения трансформеров в нейроиммуниграфии с минимальным количеством отмеченных данных. Наша мотивация заключается в том, чтобы развить методики, позволяющие эффективно использовать трансформеры в реальных клинических условиях, в том числе тех, что связаны с нейроиммуниграфией. ## Метод Мы основываем нашу работу на формировании высококачественных представлений входных данных с помощью Masked Autoencoder (MAE). Для этих целей мы используем трансформеры в качестве модели обучения с малоизвестными объемами данных. В качестве базы данных для обучения выбрана многокогортная коллекция данных по более чем 31 миллионам срезов брайн-иммуниграфии. Для высокоуровневых задач, таких как классификация, мы применяем замороженный модуль MAE с вспомогательной линейной головкой, чтобы оптимизировать задачи идентификации последовательностей MRI. Для низкоуровневых задач, таких как сегментация, мы предлагаем гибридную архитектуру MAE-FUnet, которая объединяет мультискалярные функции CNN с эмбеддингами MAE. ## Результаты Мы проводим ряд экспериментов, в том числе классификационные и сегментационные задачи на больших коллекциях данных. Наши результаты показывают, что MAE-фреймворк эффективно работает в ситуациях с малоизвестными данными, обеспечивая сохранение высокой точности в классификации последовательностей MRI в минимальном количестве супервайзда. Для задач сегментации мы выявили, что MAE-FUnet значительно превосходит другие модели в задачах скелетного очистки и многоклассовой сегментации анатомических структур, даже при минимальных объемах данных. Мы также проводим тестирование на различных медицинских базах данных, чтобы продемонстрировать широту применения нашего подхода. ## Значимость Наш фреймворк имеет широкое применение в современной нейроиммуниграфии, в том числе в задачах идентификации последовательностей и сегментации. Он предлагает высокую степерь трансфертивности и эффективность, что делает его привлекательным для использования в клинических условиях с ограниченным количеством данных. Этот подход также может быть применен в других областях медицинской иммуниграфии, что увеличивает его значимость для развити