The Next Layer: Augmenting Foundation Models with Structure-Preserving and Attention-Guided Learning for Local Patches to Global Context Awareness in Computational Pathology
2508.19914v1
q-bio.QM, cs.AI, stat.ML
2025-08-29
Авторы:
Muhammad Waqas, Rukhmini Bandyopadhyay, Eman Showkatian, Amgad Muneer, Anas Zafar, Frank Rojas Alvarez, Maricel Corredor Marin, Wentao Li, David Jaffray, Cara Haymaker, John Heymach, Natalie I Vokes, Luisa Maren Solis Soto, Jianjun Zhang, Jia Wu
Резюме на русском
#### Контекст
Фондовые модели стали мощными инструментами в компьютерной патологии, позволяя извлекать функции из импедансных данных, но часто не учитывают глобальную структуру тканей и локальные контекстуальные отношения важных для диагноза регионов. Эти элементы критически важны для понимания микроокружения опухолей. Для решения этих проблем вводится Multiple Instance Learning (MIL), которая строит рамку для сводки патчей на уровне слайдов. Недостаток таких подходов в том, что они часто лишаются возможности учитывать локальные отношения и взаимодействия между патчами.
#### Метод
EAGLE-Net, представленная в этой статье, — это MIL-архитектура, которая использует многомерное представление местного контекста и учитывает глобальную структуру ткани. Она включает в себя: многомасштабное пространственное кодирование для понимания тканей на уровне целого слайда, top-K loss для увеличения внимания к местным микроокружениям и background suppression loss для минимизации ложных срабатываний. Эти компоненты работают совместно, чтобы улучшить прогностическую модель и читаемость.
#### Результаты
На трех паналкотических наборах данных, включающих 10 260 слайдов для классификации и 4 172 слайдов для прогноза выживаемости, EAGLE-Net показала преимущество по сравнению с основными моделями. Модель повысила точность классификации до 3% и добилась лучших индексов согласованности (concordance) в 6 из 7 задач прогноза выживаемости. Она формирует четкие и биологически смысленные карты внимания, что позволяет выделить ключевые области, такие как борьба между тканями и иммунными клетками, или зоны гниение.
#### Значимость
EAGLE-Net может быть использована в области биомаркерного обнаружения, прогноза выживаемости и поддержки клинических решений. Она предоставляет более точные инструменты для анализа тканей и может стать надежной основой для разработки новых методов в патологии. Её важность заключается в том, что она предлагает новый взгляд на интеграцию локальных и глобальных признаков в моделировании.
#### Выводы
EAGLE-Net доказывает свою эффективность как инструмент для лучшего понимания микроокружения тканей и возможности прогнозировать заболевания. Будущие исследования будут фокусироваться на расширении модели для работы с более широкими классами заболеваний и улучшении её возможностей для персонализированной медицины.
Abstract
Foundation models have recently emerged as powerful feature extractors in
computational pathology, yet they typically omit mechanisms for leveraging the
global spatial structure of tissues and the local contextual relationships
among diagnostically relevant regions - key elements for understanding the
tumor microenvironment. Multiple instance learning (MIL) remains an essential
next step following foundation model, designing a framework to aggregate
patch-level features into slide-level predictions. We present EAGLE-Net, a
structure-preserving, attention-guided MIL architecture designed to augment
prediction and interpretability. EAGLE-Net integrates multi-scale absolute
spatial encoding to capture global tissue architecture, a top-K
neighborhood-aware loss to focus attention on local microenvironments, and
background suppression loss to minimize false positives. We benchmarked
EAGLE-Net on large pan-cancer datasets, including three cancer types for
classification (10,260 slides) and seven cancer types for survival prediction
(4,172 slides), using three distinct histology foundation backbones (REMEDIES,
Uni-V1, Uni2-h). Across tasks, EAGLE-Net achieved up to 3% higher
classification accuracy and the top concordance indices in 6 of 7 cancer types,
producing smooth, biologically coherent attention maps that aligned with expert
annotations and highlighted invasive fronts, necrosis, and immune infiltration.
These results position EAGLE-Net as a generalizable, interpretable framework
that complements foundation models, enabling improved biomarker discovery,
prognostic modeling, and clinical decision support