Multi-Scale Deep Learning for Colon Histopathology: A Hybrid Graph-Transformer Approach

## Контекст Колоректальный рак (рак кишечника и ректала) является одной из наиболее злокачественных форм рака в мире. Основной приоритет в борьбе с этим заболеванием является раннее выявление, так как это существенно повышает шансы на успешное лечение. Существующие методы диагностики часто страдают от недостатка точности или требуют долгого времени для оценки образцов. Это сподвигло развитие методов автоматической классификации, которые могут обрабатывать большие объемы данных и обеспечивать более точные прогнозы. В этом контексте предлагается новая гибридная многомерная структура, которая объединяет мощь трансформерных моделей и сверточных нейронных сетей. Целью является повышение точности диагностики и улучшение понимания структуры и отношений в изображениях гистопатологии. ## Метод Предлагаемая модель, названная **HG-TNet**, является гибридной структурой, которая объединяет сильные стороны трансформеров и сверточных нейронных сетей. Модель включает две основные сети: 1. **Transformer Branch**: Основная цель этой ветви — получить глобальные контекстные связи, используя разбиение изображения на патчи с помощью конвертирования патчей с помощью сверточных элементов. Эти патчи обрабатываются в контекстно-зависимой модели трансформера. 2. **CNN Branch**: Данная ветвь фокусируется на локальных деталях изображения, используя последовательный анализ в несколько слоев сверток. Кроме того, в модели включена целевая подсистема самостоятельного обучения на основе предсказания поворота изображений. Эта особенность позволяет модели сохранять пространственные отношения и учитывать отдельный вклад каждого элемента в создании общей структуры. ## Результаты Модель была тренирована и протестирована на базе выборки **LC25000** — датасета изображений гистопатологии колоректального рака. На экспериментальных задачах классификации сравнили количество ошибок, точность и потери. Результаты показали, что **HG-TNet** превосходит стандартные архитектуры по всем метрикам. Специальное внимание было уделено пространственной структуре изображений. **Capsule Networks**, интегрированные в модель, позволили улучшить восприятие составляющих частей изображения и их интеракции в целом. ## Значимость Новая модель может быть применена в автоматической диагностике и мониторинге колоректального рака, обеспечивая более точные результаты и уменьшая время оценки. Гибридная архитектура обеспечивает более глубокое понимание изображений и может быть распространена на другие задачи медицинской изображейной обработки. ## Выводы Результаты эк