COME: Dual Structure-Semantic Learning with Collaborative MoE for Universal Lesion Detection Across Heterogeneous Ultrasound Datasets
2508.09886v1
cs.CV, cs.AI, cs.CL
2025-08-15
Авторы:
Lingyu Chen, Yawen Zeng, Yue Wang, Peng Wan, Guo-chen Ning, Hongen Liao, Daoqiang Zhang, Fang Chen
Резюме на русском
#### Контекст
Анализ ультразвуковых изображений (US) широко применяется в медицине для диагностики различных заболеваний. Однако существуют значительные вызовы, связанные с ограниченностью размера данных, акустическими теньюми и раздражительным шумом. Эти факторы ограничивают переносимость моделей, обученных на одном наборе данных, к другим. Для того чтобы построить универсальную модель, которая была бы эффективной для разных ультразвуковых наборов данных, необходимо учитывать различия между ними и эффективно извлекать дискриминативные признаки. Поэтому, целью данного исследования является разработка универсального фреймворка, который бы способствовал улучшению общей точности детекции злокачественных образований в разных ультразвуковых данных.
#### Метод
Для развития универсальной модели был предложен метод **Universal Collaborative Mixture of Heterogeneous Source-Specific Experts (COME)**. Он состоит из двух главных компонентов: **универсальных структурно-семантических экспертов**, которые строят универсальное пространство представления, и **источник-специфических экспертов**, которые извлекают дискриминативные признаки для каждого отдельного набора данных. Метод COME работает следующим образом: первые эксперты создают обобщенное представление, а затем эти представления используются источник-специфическими экспертами для выделения признаков, относящихся к конкретной нагрузке. Эта конструкция позволяет модели COME лучше адаптироваться к новым данным и обеспечивает улучшения в общем знании за счет обмена опытом между разными наборами.
#### Результаты
Результаты экспериментов показывают, что модель COME выдает значительно лучшие результаты по сравнению с другими моделями. Она была протестирована на трех режимах: **одноданность**, **межорганическое** и **внутриорганическое** объединение наборов данных. На всех этих режимах COME показала значительные улучшения в метрике mean average precision (mAP) по сравнению с состоянием искусства. Например, на интегрированных наборах данных COME показала AP-улучшения до **15%** в сравнении с предыдущими моделями. Это демонстрирует высокую эффективность COME в обеспечении универсальной детекции злокачественных новообразований в разных ультразвуковых данных.
#### Значимость
Предлагаемый подход имеет значительное значение в области медицинского анализа изображений. Он может быть применен для развития универсальных моделей, которые будут эффективными для различных видов ультразвуковых изображений в разных задачах. COME позволяет улучшить точность детекции и обеспечивает более значимые результаты в медицинских приложениях. Данный подход может быть применен для глубокого обучения в других
Abstract
Conventional single-dataset training often fails with new data distributions,
especially in ultrasound (US) image analysis due to limited data, acoustic
shadows, and speckle noise. Therefore, constructing a universal framework for
multi-heterogeneous US datasets is imperative. However, a key challenge arises:
how to effectively mitigate inter-dataset interference while preserving
dataset-specific discriminative features for robust downstream task? Previous
approaches utilize either a single source-specific decoder or a domain
adaptation strategy, but these methods experienced a decline in performance
when applied to other domains. Considering this, we propose a Universal
Collaborative Mixture of Heterogeneous Source-Specific Experts (COME).
Specifically, COME establishes dual structure-semantic shared experts that
create a universal representation space and then collaborate with
source-specific experts to extract discriminative features through providing
complementary features. This design enables robust generalization by leveraging
cross-datasets experience distributions and providing universal US priors for
small-batch or unseen data scenarios. Extensive experiments under three
evaluation modes (single-dataset, intra-organ, and inter-organ integration
datasets) demonstrate COME's superiority, achieving significant mean AP
improvements over state-of-the-art methods. Our project is available at:
https://universalcome.github.io/UniversalCOME/.
Ссылки и действия
Дополнительные ресурсы: