DermINO: Hybrid Pretraining for a Versatile Dermatology Foundation Model
2508.12190v1
eess.IV, cs.CV
2025-08-19
Авторы:
Jingkai Xu, De Cheng, Xiangqian Zhao, Jungang Yang, Zilong Wang, Xinyang Jiang, Xufang Luo, Lili Chen, Xiaoli Ning, Chengxu Li, Xinzhu Zhou, Xuejiao Song, Ang Li, Qingyue Xia, Zhou Zhuang, Hongfei Ouyang, Ke Xue, Yujun Sheng, Rusong Meng, Feng Xu, Xi Yang, Weimin Ma, Yusheng Lee, Dongsheng Li, Xinbo Gao, Jianming Liang, Lili Qiu, Nannan Wang, Xianbo Zuo, Cui Yong
Резюме на русском
## Контекст
Дерматологические заболевания являются одним из наиболее распространенных типов заболеваний, поражающих до 70% населения. Их высокая преvalence, сложная диагностика и нехватка квалифицированных специалистов в ресурсоподдерживающих регионах создают серьезные проблемы для глобальной системы здравоохранения. Хотя искусственный интеллект (AI) демонстрирует перспективность в анализе дерматологических изображений, существующие модели обычно ограничены исключительно в частных задачах и требуют больших массивов ручного меток. Это снижает их эффективность в реальной практике. Наша модель DermNIO предлагает новый подход к решению этих проблем, став базовым гибридным моделью, которая может задействоваться в разных сферах дерматологии.
## Метод
DermNIO основывается на систематичном подходе к обучению моделей. Она обучается на большом датасете, состоящем из 432 776 изображений, полученных из трех источников: открытых репозиториев, веб-источников и проприетарных внутренних коллекций. Для улучшения её общей гибкости и обучения используется новая гибридная фреймворк, включающий в себя элементы self-supervised и semi-supervised learning, а также инициализацию прототипов с помощью знаний. Этот подход действует на различные слои модели, что позволяет улучшить общую точность и способность к generalization. Модель также оптимизируется для задач дерматологии, включая segmentation, classification, и image captioning.
## Результаты
DermNIO протестирована на 20 датасетах, сравниваясь с лучшими моделями в своем классе. Она показала существенное превосходство в высокоуровневых задачах, таких как классификация малигнаности, оценка серьезности заболевания, многокатегориальная диагностика, и даже генерация описаний изображений. Кроме того, модель проявила отличные результаты в задачах, таких как segmentation, обладая высокой стабильностью при разных сочетаниях skin type и gender. В клиническом тесте с участием 23 дерматологов, DermNIO показала 95,79% точности в диагностике, что значительно превосходит процент ученых - 73,66%. AI-помощь увеличила производительность клинического состава на 17,21%.
## Значимость
DermNIO может применяться в различных сферах, включая диагностические системы, консультации в реальном времени, и улучшение access в ресурсоподдерживающих регионах. Она обладает значительным потенциалом для улучшения качества дерматологического здравоохранения, снижения нагрузки на специалистов и увеличения доступности диагностики. Благодаря своей гибкости, модель может быть адаптирована к разным задачам и слоям, что делает её универсальным инструментом для практического применения.
##
Abstract
Skin diseases impose a substantial burden on global healthcare systems,
driven by their high prevalence (affecting up to 70% of the population),
complex diagnostic processes, and a critical shortage of dermatologists in
resource-limited areas. While artificial intelligence(AI) tools have
demonstrated promise in dermatological image analysis, current models face
limitations-they often rely on large, manually labeled datasets and are built
for narrow, specific tasks, making them less effective in real-world settings.
To tackle these limitations, we present DermNIO, a versatile foundation model
for dermatology. Trained on a curated dataset of 432,776 images from three
sources (public repositories, web-sourced images, and proprietary collections),
DermNIO incorporates a novel hybrid pretraining framework that augments the
self-supervised learning paradigm through semi-supervised learning and
knowledge-guided prototype initialization. This integrated method not only
deepens the understanding of complex dermatological conditions, but also
substantially enhances the generalization capability across various clinical
tasks. Evaluated across 20 datasets, DermNIO consistently outperforms
state-of-the-art models across a wide range of tasks. It excels in high-level
clinical applications including malignancy classification, disease severity
grading, multi-category diagnosis, and dermatological image caption, while also
achieving state-of-the-art performance in low-level tasks such as skin lesion
segmentation. Furthermore, DermNIO demonstrates strong robustness in
privacy-preserving federated learning scenarios and across diverse skin types
and sexes. In a blinded reader study with 23 dermatologists, DermNIO achieved
95.79% diagnostic accuracy (versus clinicians' 73.66%), and AI assistance
improved clinician performance by 17.21%.
Ссылки и действия
Дополнительные ресурсы: