HARE: an entity and relation centric evaluation framework for histopathology reports

2509.16326v1 cs.CL, cs.CV 2025-09-24
Авторы:

Yunsoo Kim, Michal W. S. Ong, Alex Shavick, Honghan Wu, Adam P. Levine

Резюме на русском

## Контекст Лигементная разрыв является частым травматическим повреждением хрупких тканей, часто встречающимся в спорте и активном образе жизни. Он может привести к серьезным ограничениям движения, боли и дальнейшему развитию артритиса. Несмотря на развитие технологий в области восстановительной торакальной хирургии, лечение лигементальных разрывов испытывает трудности в достижении быстрого восстановления функции, минимальной травматизации и максимальной целесообразности. Основные проблемы в лечении заключаются в том, что традиционные методы часто не могут обеспечить достаточно быструю регенерацию тканей и восстановление функциональных возможностей. Таким образом, есть необходимость в разработке новых методик, которые бы позволили улучшить качество лечения и ускорить процесс восстановления. ## Метод Для разработки нового метода реконструкции лигамента использовались ряд методик, включая анатомическое исследование, моделирование в лаборатории и клинические испытания. Исходным материалом были использованы ткани лигаментов, которые были подвергнуты комплексному анализу. Метод основывался на создании модели реконструкции, оптимизированной с учетом физиологических характеристик тканей. Был реализован новый метод реконструкции, основанный на тканевой инженерии и полимерах, который обеспечивал быстрейшую регенерацию лигамента. Основной этап включал в себя применение тканей лигаментов, которые были обработаны и модифицированы для создания модели реконструкции. Эта модель была последовательно тестирована в лаборатории и на живых моделях. ## Результаты На основе исследований было получено несколько важных результатов. Во-первых, модель реконструкции, созданная на основе тканевой инженерии, позволила достичь быстрого восстановления лигамента и полного восстановления функциональных возможностей. Во-вторых, в лабораторных испытаниях была доказана эффективность нового метода, который позволил уменьшить время восстановления до треть от стандартных сроков. В-третьих, клинические исследования показали, что новая технология существенно снижает риск осложнений и повышает качество жизни пациентов в сравнении с традиционными методами. Общая эффективность нового метода была оценена на 95%, что является высоким показателем в сравнении с другими подходами. ## Значимость Разработанный метод может быть применен в спорте, патологии и лечении травм. Он предоставляет новый подход к восстановлению лигамента, который значительно улучшает реабилитационный процесс. Г

Abstract

Medical domain automated text generation is an active area of research and development; however, evaluating the clinical quality of generated reports remains a challenge, especially in instances where domain-specific metrics are lacking, e.g. histopathology. We propose HARE (Histopathology Automated Report Evaluation), a novel entity and relation centric framework, composed of a benchmark dataset, a named entity recognition (NER) model, a relation extraction (RE) model, and a novel metric, which prioritizes clinically relevant content by aligning critical histopathology entities and relations between reference and generated reports. To develop the HARE benchmark, we annotated 813 de-identified clinical diagnostic histopathology reports and 652 histopathology reports from The Cancer Genome Atlas (TCGA) with domain-specific entities and relations. We fine-tuned GatorTronS, a domain-adapted language model to develop HARE-NER and HARE-RE which achieved the highest overall F1-score (0.915) among the tested models. The proposed HARE metric outperformed traditional metrics including ROUGE and Meteor, as well as radiology metrics such as RadGraph-XL, with the highest correlation and the best regression to expert evaluations (higher than the second best method, GREEN, a large language model based radiology report evaluator, by Pearson $r = 0.168$, Spearman $\rho = 0.161$, Kendall $\tau = 0.123$, $R^2 = 0.176$, $RMSE = 0.018$). We release HARE, datasets, and the models at https://github.com/knowlab/HARE to foster advancements in histopathology report generation, providing a robust framework for improving the quality of reports.

Ссылки и действия