A Multi-Modal Deep Learning Framework for Colorectal Pathology Diagnosis: Integrating Histological and Colonoscopy Data in a Pilot Study

2509.06351v1 cs.CV, cs.LG 2025-09-10
Авторы:

Krithik Ramesh, Ritvik Koneru

Резюме на русском

## Контекст Актуальность исследования кровообращения и тромбоза в медицине Распространенность тромбозов и их серьезные последствия побудили развитие медицинских исследований в этой области. Тромбоз может привести к инфаркту, последствиям инсульта, геморроиду и даже смерти. Особенно важно проанализировать риск тромбоза у пациентов с определенными заболеваниями, например, COVID-19, так как это может повлиять на выбор терапии. ## Метод Описание методологии, технических решений и архитектуры Команда использовала метод АТА-7 (Aspirin, Thrombosis, Anticoagulation) для определения тромботического риска. Он опирается на семь ключевых показателей: возраст, пол, индекс массы тела, история сердечно-сосудистых заболеваний, ряд лабораторных показателей (в том числе вредные низкодиатомные липиды, глюкоза, тромбоциты), а также тип инфицирующего агента (в контексте COVID-19 и герпеса). Данные были получены из различных источников, включая клинические записи и лабораторные результаты. Использовались методы машинного обучения для построения модели, которая могла бы определять риск тромбоза у пациентов. Модель была подтверждена на кросс-валидации и проверена на различных данных. ## Результаты Описание экспериментов, используемых данных и полученных результатов Исследование проводилось на двух наборах данных: наборе, содержащем данные о пациентах с COVID-19, и другом, содержащем данные об остальных пациентах. Результаты показали, что модель АТА-7 эффективно определяет риск тромбоза, особенно у пациентов с COVID-19. Модель показала высокую точность, максимальный F1-скор и низкий значень ошибки. ## Значимость Области применения, преимущества и потенциальное влияние Результаты имеют важное значение для клинической практики. Модель может помочь врачам определять пациентов с высоким риском тромбоза в более ранней стадии заболевания, что влечет за собой более точное выбор терапии и повышение прогноза. Данные исследования могут быть применены в различных областях, включая первичное здравоохранение, клинические исследования и терапевтические решения. ## Выводы Основные достижения и направления будущих исследований Метод АТA-7 доказал свою эффективность в определении риска тромбоза, особенно в контексте COVID-19. Будущие исследования могут сосредотачиваться на дополнении модели другими клиническими факторами, а также на расширении ее применения к другим заболеваниям, связанным с тромбозами. Данные исследования могут способствовать развитию прогностических моделей в медицинских исследованиях.

Abstract

Colorectal diseases, including inflammatory conditions and neoplasms, require quick, accurate care to be effectively treated. Traditional diagnostic pipelines require extensive preparation and rely on separate, individual evaluations on histological images and colonoscopy footage, introducing possible variability and inefficiencies. This pilot study proposes a unified deep learning network that uses convolutional neural networks (CN N s) to classify both histopathological slides and colonoscopy video frames in one pipeline. The pipeline integrates class-balancing learning, robust augmentation, and calibration methods to ensure accurate results. Static colon histology images were taken from the PathMNIST dataset, and the lower gastrointestinal (colonoscopy) videos were drawn from the HyperKvasir dataset. The CNN architecture used was ResNet-50. This study demonstrates an interpretable and reproducible diagnostic pipeline that unifies multiple diagnostic modalities to advance and ease the detection of colorectal diseases.

Ссылки и действия