Towards Comprehensive Cellular Characterisation of H&E slides

## Контекст В рамках анализа течения рака и разработки новых терапевтических стратегий важно характеризовать как можно получше тканевые микроокружения (TME), включая различные типы клеток. Однако, существующие методы, основанные на исследовании слайдов с лейкоцитами (H&E), часто страдают от недостатков в обнаружении редких типов клеток и недостаточной переносимости к различным канцерогенных индикациям. Эти ограничения имеют влияние на объём и качество получаемых научных данных. Мы предлагаем **HistoPLUS**, современную модель для анализа клеток, которая решает эти проблемы, повышая качество обнаружения и классификации клеток в различных типах канцеров. ## Метод **HistoPLUS** - это модель, основанная на архитектуре Vision Transformer (ViT), которая использует новую базу данных **Pan-Cancer Histology**, содержащую 108,722 ядер клеток, относящихся к 13 различных типов. База данных была тщательно проконтролирована и курдирована для различных типов рака, позволяя модели учиться распознавать редкие клетки. Метод включает в себя обучение на трёх задачах: обнаружение, сегментацию и классификацию клеток. Мы также внедрили техники, улучшающие производительность и общую переносимость модели. ## Результаты Мы проверили **HistoPLUS** на четырёх независимых когортах, сравнив её с текущими лучшими моделями. Модель показала ощутимый выигрыш в качестве детектирования клеток (+5.2%) и в общем F1-score классификации (+23.7%). Благодаря специальному фокусу на редкие типы клеток, **HistoPLUS** улучшилась в 8 из 13 типов клеток, в том числе, включила в своё распознавание 7 новых редких типов клеток. Мы также проверили то, насколько модель переносится к двум неизвестным индикациям, и получили заметные улучшения в классификации. ## Значимость Модель **HistoPLUS** может использоваться в различных областях онкологии, таких как заболевания крови, легких и кожи. Она обеспечивает значительные улучшения в характеризации TME, позволяя вести исследования на более высоком уровне. Благодаря расширенной переносимости и высокому качеству, HistoPLUS может быть применена для разработки новых биомаркеров и поддержки клинических решений. Наши результаты показывают, что модель является отличным инструментом для повышения качества исследований в области онкологии. ## Выводы Мы представили модель **HistoPLUS**, которая существенно улучшает обнаружение, сегментацию и классификацию клеток в H&E слайдах. Наша работа открывает путь к более точному и широкому анализу TME и может быть использована для развития новых терапевтических подходов. Мы также опубликовали модель и код в от