UltraUPConvNet: A UPerNet- and ConvNeXt-Based Multi-Task Network for Ultrasound Tissue Segmentation and Disease Prediction

## Контекст Сегодняшний клинический практикум часто полагается на анализ изображений ультразвуковых сканов для диагностики различных заболеваний. Несмотря на то, что ультразвуковое исследование широко распространено благодаря своей экономичности, мобильности и безопасности, существуют значительные проблемы в использовании AI для таких задач. В частности, существующие модели часто разделяют задачи на диагностическую классификацию и сегментацию тканей, что приводит к высокому компьютерному накладному расходу и неэффективности. Таким образом, необходимо разработать универсальный подход, который мог бы объединить эти задачи в одной структуре. ## Метод UltraUPConvNet — это модель, основанная на UPerNet и ConvNeXt, которая способна решать две задачи одновременно: классификацию тканей и сегментацию изображений. Архитектура модели включает в себя несколько ключевых компонентов: 1) **Входной модуль**, который принимает ультразвуковые изображения различных регионов организма; 2) **Сверточный модуль**, основанный на ConvNeXt, для извлечения высококачественных признаков; 3) **Трансформерный модуль**, UPerNet, для адаптивного извлечения контекста; 4) **Сегментационный модуль** и **Классификационный модуль**, которые позволяют выполнять две задачи в одном проходе. Эта модель обучалась на большом датасете, содержащем более 9700 аннотаций по 7 регионам тела. ## Результаты Наши эксперименты проводились на нескольких отдельных датасетах с целью оценить точность, эффективность и общую универсальность модели. Мы сравнили результаты UltraUPConvNet с другими современными моделями. У нас получились хорошие результаты, особенно в области сегментации тканей, где наши модели показали гораздо вышу эффективность с меньшим компьютерным накладным. Данные о результатах и транспарентные ресурсы с кодом и моделями доступны на GitHub. ## Значимость Модель UltraUPConvNet может быть применена в сфере клинической диагностики для распознавания различных заболеваний и сегментации тканей. Она обеспечивает более высокую эффективность и гибкость по сравнению с другими моделями. Благодаря низкому компьютерному накладному, модель может быть использована для реального времени в клинических условиях. Это может способствовать более быстрой диагностике и улучшению мобильных приложений в области медицины. ## Выводы UltraUPConvNet представляет собой перспективный подход к решению задач классификации и сегментации тканей в ультразвуковых изображениях. Мы показали, что наша модель обеспечивает высокую точность и эффективность с меньшим накладным. В будущем, мы планируем расширить датасеты, улучши