From Pixels to Graphs: Deep Graph-Level Anomaly Detection on Dermoscopic Images

2508.11826v1 cs.CV, cs.LG 2025-08-19
Авторы:

Dehn Xu, Tim Katzke, Emmanuel Müller

Резюме на русском

#### Контекст Графовые нейронные сети (GNN) являются мощным инструментом для обработки данных, организованных в виде графов, и применяются в различных задачах машинного обучения, включая классификацию и обнаружение аномалий. Однако, несмотря на их успех, существуют значительные проблемы в понимании и оптимизации их эффективности в задачах связанных с изображениями. Одна из таких проблем — обнаружение аномалий в дерматологии, где необходимо выявлять необычные модели на дерматоскопических изображениях. Данная область исследования важна для диагностики злокачественных опухолей на ранней стадии. Несмотря на возможности графовых моделей, остается неясным, какие схемы преобразования изображений в графы лучше подходят для подобных задач. #### Метод Для решения этой проблемы были рассмотрены различные схемы преобразования дерматоскопических изображений в графы, включая различные методы сегментации изображений, различные подходы к построению ребер графа и различные наборы признаков для узлов, основывающиеся на цвете, текстуре и форме. На основе этих преобразований проводилась систематическая оценка эффективности с помощью современных моделей GNN для обнаружения аномалий на графах (GLAD). Эксперименты проводились на данных дерматоскопических изображений, использовались как неуправляемые, так и управляемые режимы обучения. #### Результаты Результаты экспериментов показали, что цветные признаки самые эффективные для раннего обнаружения аномалий, но их эффективность может быть значительно повышена при использовании дополнительных признаков, таких как текстура и форма. Наилучший результат был получен в условиях неуправляемого обучения, где модель OCGTL достигла AUC-ROC в 0.805. При добавлении сплошных меток, эффектность увеличилась до 0.872, а при полной супервайзированной обучении — до 0.914. Это показывает, что при подходящем подборе преобразований и признаков, модель GNN может давать результаты, которые не уступают сложным подходам с предобученными сетями. #### Значимость Результаты этого исследования могут быть применимы в многих областях медицины, где необходимо обнаруживать необычные модели на изображениях. Одной из применимостей является дерматология, где модель GNN может помочь в непрерывном мониторинге здоровья пациентов. Также, полученные результаты демонстрируют, что GNN могут давать похожие или даже лучшие результаты по сравнению с традиционными алгоритмами, не используя предобученные модели. Это открывает новые возможности для эффективного использования графовых моделей в сложных задачах обнаружения и

Abstract

Graph Neural Networks (GNNs) have emerged as a powerful approach for graph-based machine learning tasks. Previous work applied GNNs to image-derived graph representations for various downstream tasks such as classification or anomaly detection. These transformations include segmenting images, extracting features from segments, mapping them to nodes, and connecting them. However, to the best of our knowledge, no study has rigorously compared the effectiveness of the numerous potential image-to-graph transformation approaches for GNN-based graph-level anomaly detection (GLAD). In this study, we systematically evaluate the efficacy of multiple segmentation schemes, edge construction strategies, and node feature sets based on color, texture, and shape descriptors to produce suitable image-derived graph representations to perform graph-level anomaly detection. We conduct extensive experiments on dermoscopic images using state-of-the-art GLAD models, examining performance and efficiency in purely unsupervised, weakly supervised, and fully supervised regimes. Our findings reveal, for example, that color descriptors contribute the best standalone performance, while incorporating shape and texture features consistently enhances detection efficacy. In particular, our best unsupervised configuration using OCGTL achieves a competitive AUC-ROC score of up to 0.805 without relying on pretrained backbones like comparable image-based approaches. With the inclusion of sparse labels, the performance increases substantially to 0.872 and with full supervision to 0.914 AUC-ROC.

Ссылки и действия