Dino U-Net: Exploiting High-Fidelity Dense Features from Foundation Models for Medical Image Segmentation

#### Контекст Сегодняшние фундаментальные модели, обученные на великомасштабных датасетах с обычными изображениями, показали свою эффективность в задачах медицинской изображейной сегментации. Однако перенос таких моделей в клинические применения сталкивается с рядом проблем. Это включает в себя недостаток точности при работе с низкоуровневыми деталями изображений, что может отрицательно сказаться на качестве диагностики. Недостаток эффективного механизма передачи высокоуровневых семантических признаков в контекст медицинских изображений также является значимой проблемой. Данный исследовательский проект стремится решить эти проблемы, предлагая новую архитектуру, которая может эффективно использовать высококачественные признаки, полученные от предварительно обученных моделей. #### Метод Для решения указанных проблем, авторы предложили Dino U-Net, новую архитектуру, основанную на бесплатном DINOv3-модели, которая специально перенастроена для задач медицинской изображейной сегментации. Модель DINOv3, являющаяся мощным общего назначения фундаментальным моделью, была скорректирована для функционирования в составе кодировщика. Для эффективного объединения высокоуровневых семантических признаков с локальными деталями изображений введен адаптер, который отвечает за функциональное слияние этих двух уровней. Чтобы избежать потери качества при проецировании высокоразмерных признаков в пространство декодера, предложен новый модуль — FAPM (Fidelity-Aware Projection Module), который не только сохраняет смысловые признаки, но и улучшает их структуру. Такая конструкция позволяет модели получать улучшенную точность в понимании медицинских изображений. #### Результаты На основе предложенной модели проведены тщательные эксперименты на семи различных медицинских изображенческих датасетах. Эти датасеты включали разные виды медицинских изображений, такие как сегментацию тканей, органов и т.д. Результаты показали, что Dino U-Net превосходит ранее предложенные методы в точности сегментации. В частности, модель с 7-миллиардными параметрами демонстрирует существенное улучшение по сравнению с базовой моделью DINOv3. Эта модель также доказала свою скелетопрочность, показав постоянное улучшение качества сегментации при увеличении размера модели. #### Значимость Разработанная архитектура имеет широкое клиническое применение, в том числе в работах по сегментации тканей и органов в медицинских изображениях. Основные преимущества в том, что Dino U-Net может эффективно использовать высококачественные признаки, полученные от общего назначения модели DINOv3. Это приводит к не только улучшению точности,