Semi-Supervised 3D Medical Segmentation from 2D Natural Images Pretrained Model

#### Контекст В области медицинского исследования, важность точного анализа медицинских изображений несомненна. Несмотря на прогресс в 3D-сегментации медицинских изображений, ограниченность методов получения масштабных медицинских данных для обучения ограничивает эффективность существующих моделей. Эта проблема усиливается в условиях нехватки меток для тренировочных данных. Поэтому, открытым вопросом является передача знаний из общих моделей визуального восприятия, обученных на 2D-изображениях, для улучшения 3D-сегментации медицинских изображений. #### Метод Мы предлагаем модель-агностический фреймворк, названный M&N, который использует квази-метки, генерируемые двумя моделями, которые обучают друг друга в итеративном режиме. В начале, 2D-модель (pretrained on 2D natural images) и 3D-сегментационная модель (обученная с нуля) обучаются в параллельном режиме. В дальнейшем, квази-метки 2D-модели используются для обучения 3D-модели, а квази-метки 3D-модели — для улучшения 2D-модели. Для того, чтобы повысить точность квази-меток, мы внедрили метод управления скоростью обучения, который адаптивно изменяет веса между меток для обучения в зависимости от достоверности моделей. #### Результаты Мы провели эксперименты на нескольких медицинских данных, включая популярные наборы данных, такие как 3D MRI и CT-сканы. Модель M&N показала существенное улучшение в сравнении с 13 существующими методами, оформленными в работах, применяемых в случае недостатка меток. Она подтвердила свой статус лучшей подходящей методики в разных условиях обучения (с разным количеством меток). Более того, наши аблационные эксперименты показали, что M&N не зависит от конкретной архитектуры 3D-модели, что делает ее универсальной для использования с различными архитектурами. #### Значимость Предлагаемый подход имеет широкие применение в медицине, особенно в случаях нехватки меток для тренировочных данных. Он может повысить точность сегментации 3D-моделей и сделать их доступнее для разработчиков, не обладающих большим объемом медицинских данных. Также, адаптивность M&N к различным архитектурам 3D-моделей позволит применять его в будущих разработках. Этот подход может привести к повышению качества диагностики и уменьшению времени, необходимого для получения результатов медицинского анализа. #### Выводы Мы доказали, что фреймворк M&N позволяет эффективно передавать знания из моделей визуального восприятия, обученных на 2D-изображениях, для улучшения 3D-сегментации медицинских изображений. Наши результаты показали, что M&N подходит для разли