Fracture Detection and Localisation in Wrist and Hand Radiographs using Detection Transformer Variants
2508.14129v1
eess.IV, cs.AI, cs.CV, 68T45, I.2.10
2025-08-22
Авторы:
Aditya Bagri, Vasanthakumar Venugopal, Anandakumar D, Revathi Ezhumalai, Kalyan Sivasailam, Bargava Subramanian, VarshiniPriya, Meenakumari K S, Abi M, Renita S
Резюме на русском
#### Контекст
Моментальные снимки рук и запястья, так называемые радиографии, являются критически важной частью диагностики в медицинской практике, особенно в случае поражений скелета. Однако, их ручной интерпретации часто привязаны неточности, долгий процесс и ограничения в масштабировании. Особенно актуальным является задача распознавания и локализации переломов на таких снимках. Несмотря на прогресс в искусственном интеллекте, в том числе моделях трансформеров, применение их к выявлению переломов в руках и запястьях остается недостаточно развитым. Наша статья направлена на заполнение этой лакуны, применяя детектор-трансформеры для точного распознавания и локализации переломов на снимках рук и запястьев.
#### Метод
Для решения задачи были использованы два трансформерных модели, RT-DETR и Co-DETR, которые были приближены с помощью предобученного на COCO-датасете. Анализ был проведен на выборке из 26,000 радиографий с подробными метками, включая локации возможных переломов. Для повышения точности классификации, в рамках каждого снимка были выделены ключевые области с помощью ResNet-50. Для повышения качества встраивания, использовалась супервайзд-контрастное обучение. Результаты были оценены с помощью метрик AP@50, Precision и Recall. Для проверки практического применимости, подвергнуто тестированию на настоящих клинических снимках.
#### Результаты
RT-DETR показал разумные результаты с AP@50 = 0.39, но был превзойден Co-DETR, который достиг AP@50 = 0.615 и более быстрого схождения. Интегрированная система показала 83.1% точность, 85.1% precision и 96.4% recall на реальных клинических снимках. Эти показатели были достигнуты на 13 типов переломов. Также, визуальный анализ подтвердил точность локализации.
#### Значимость
Результаты нашей работы демонстрируют значительный потенциал трансформерных моделей в области диагностики переломов в руках и запястьях. Использование Co-DETR обеспечивает высокую точность и эффективность, что позволяет применять его в рабочих процессах медицинских учреждений. Этот подход может ускорить диагностику, улучшить точность и обеспечить масштабируемость, которая особенно важна в средствах помощи в реальном времени.
#### Выводы
Наша работа показывает, что Co-DETR является эффективным инструментом для распознавания и локализации переломов на снимках рук и запястьев. Он обеспечивает достоверные результаты и может быть использован в реальном времени. Будущие исследования будут направлены на улучшение параметров модели, расширение диапазона диагностируемых повреждени
Abstract
Background: Accurate diagnosis of wrist and hand fractures using radiographs
is essential in emergency care, but manual interpretation is slow and prone to
errors. Transformer-based models show promise in improving medical image
analysis, but their application to extremity fractures is limited. This study
addresses this gap by applying object detection transformers to wrist and hand
X-rays.
Methods: We fine-tuned the RT-DETR and Co-DETR models, pre-trained on COCO,
using over 26,000 annotated X-rays from a proprietary clinical dataset. Each
image was labeled for fracture presence with bounding boxes. A ResNet-50
classifier was trained on cropped regions to refine abnormality classification.
Supervised contrastive learning was used to enhance embedding quality.
Performance was evaluated using AP@50, precision, and recall metrics, with
additional testing on real-world X-rays.
Results: RT-DETR showed moderate results (AP@50 = 0.39), while Co-DETR
outperformed it with an AP@50 of 0.615 and faster convergence. The integrated
pipeline achieved 83.1% accuracy, 85.1% precision, and 96.4% recall on
real-world X-rays, demonstrating strong generalization across 13 fracture
types. Visual inspection confirmed accurate localization.
Conclusion: Our Co-DETR-based pipeline demonstrated high accuracy and
clinical relevance in wrist and hand fracture detection, offering reliable
localization and differentiation of fracture types. It is scalable, efficient,
and suitable for real-time deployment in hospital workflows, improving
diagnostic speed and reliability in musculoskeletal radiology.