From Pixels to Graphs: Deep Graph-Level Anomaly Detection on Dermoscopic Images
2508.11826v1
cs.CV, cs.LG
2025-08-19
Авторы:
Dehn Xu, Tim Katzke, Emmanuel Müller
Резюме на русском
#### Контекст
Графовые нейронные сети (GNN) являются мощным инструментом для обработки данных, организованных в виде графов, и применяются в различных задачах машинного обучения, включая классификацию и обнаружение аномалий. Однако, несмотря на их успех, существуют значительные проблемы в понимании и оптимизации их эффективности в задачах связанных с изображениями. Одна из таких проблем — обнаружение аномалий в дерматологии, где необходимо выявлять необычные модели на дерматоскопических изображениях. Данная область исследования важна для диагностики злокачественных опухолей на ранней стадии. Несмотря на возможности графовых моделей, остается неясным, какие схемы преобразования изображений в графы лучше подходят для подобных задач.
#### Метод
Для решения этой проблемы были рассмотрены различные схемы преобразования дерматоскопических изображений в графы, включая различные методы сегментации изображений, различные подходы к построению ребер графа и различные наборы признаков для узлов, основывающиеся на цвете, текстуре и форме. На основе этих преобразований проводилась систематическая оценка эффективности с помощью современных моделей GNN для обнаружения аномалий на графах (GLAD). Эксперименты проводились на данных дерматоскопических изображений, использовались как неуправляемые, так и управляемые режимы обучения.
#### Результаты
Результаты экспериментов показали, что цветные признаки самые эффективные для раннего обнаружения аномалий, но их эффективность может быть значительно повышена при использовании дополнительных признаков, таких как текстура и форма. Наилучший результат был получен в условиях неуправляемого обучения, где модель OCGTL достигла AUC-ROC в 0.805. При добавлении сплошных меток, эффектность увеличилась до 0.872, а при полной супервайзированной обучении — до 0.914. Это показывает, что при подходящем подборе преобразований и признаков, модель GNN может давать результаты, которые не уступают сложным подходам с предобученными сетями.
#### Значимость
Результаты этого исследования могут быть применимы в многих областях медицины, где необходимо обнаруживать необычные модели на изображениях. Одной из применимостей является дерматология, где модель GNN может помочь в непрерывном мониторинге здоровья пациентов. Также, полученные результаты демонстрируют, что GNN могут давать похожие или даже лучшие результаты по сравнению с традиционными алгоритмами, не используя предобученные модели. Это открывает новые возможности для эффективного использования графовых моделей в сложных задачах обнаружения и
Abstract
Graph Neural Networks (GNNs) have emerged as a powerful approach for
graph-based machine learning tasks. Previous work applied GNNs to image-derived
graph representations for various downstream tasks such as classification or
anomaly detection. These transformations include segmenting images, extracting
features from segments, mapping them to nodes, and connecting them. However, to
the best of our knowledge, no study has rigorously compared the effectiveness
of the numerous potential image-to-graph transformation approaches for
GNN-based graph-level anomaly detection (GLAD). In this study, we
systematically evaluate the efficacy of multiple segmentation schemes, edge
construction strategies, and node feature sets based on color, texture, and
shape descriptors to produce suitable image-derived graph representations to
perform graph-level anomaly detection. We conduct extensive experiments on
dermoscopic images using state-of-the-art GLAD models, examining performance
and efficiency in purely unsupervised, weakly supervised, and fully supervised
regimes. Our findings reveal, for example, that color descriptors contribute
the best standalone performance, while incorporating shape and texture features
consistently enhances detection efficacy. In particular, our best unsupervised
configuration using OCGTL achieves a competitive AUC-ROC score of up to 0.805
without relying on pretrained backbones like comparable image-based approaches.
With the inclusion of sparse labels, the performance increases substantially to
0.872 and with full supervision to 0.914 AUC-ROC.
Ссылки и действия
Дополнительные ресурсы: