A Disease-Centric Vision-Language Foundation Model for Precision Oncology in Kidney Cancer

#### Контекст Оценка неоперируемых почечных масс, обнаруживаемых случайно, является ключевым вызовом в урологической онкологии. Частота доброинвазивных или индолентных опухолей приводит к частым оперированиям, необходимости дополнительных исследований и ненужным нагрузке на здравоохранение. Недостаток в эффективных инструментах для характеристики и прогнозирования почечных опухолей способствует перебору в лечении. В этом исследовании разработана и протестирована RenalCLIP — многозадачная визуально-языковая фундаментальная модель для характеристики, диагностики и прогноза почечных опухолей. Модель ставит задачу улучшить диагностическую точность и прогностическую стратификацию, а также обеспечить более персонализированное лечение больных почечными опухолями. #### Метод RenalCLIP была разработана с использованием двухэтапной стратегии предварительного обучения. В первом этапе, модель учитывает домен-специфическую знания для эффективного представления визуальных и текстовых данных. Во втором этапе, изображения и текстовые признаки унифицируются с помощью контрастного обучения, чтобы обеспечить высокую общину и точность диагностики. Модель протестирована на датасете, включающем 27 866 клинических диагнозных отчетов и 27 866 CT-сканах от 8 809 больных, собранных в 9 китайских медицинских центрах, а также на TCIA-когорте. Модель выделяет 10 ключевых клинических задач, включая анатомическую оценку, диагностическую классификацию, и прогнозирование рецидива. Для улучшения эффективности обучения, RenalCLIP использует данные малого размера для достижения лучшего качества, чем базовые модели, обученные на полном датасете. #### Результаты RenalCLIP показала выдающиеся результаты по всем ключевым задачам. Например, в задаче прогноза рецидива-беспричинного выживания в TCIA-когорте, модель достигла C-индекса 0.726, что примерно на 20% лучше существующих базовых моделей. RenalCLIP также продемонстрировала высокую эффективность данных, достигнув пиковой производительности на задачах классификации и ответа на вопросы уже при малом размере обучающих данных. В таких задачах, как генерация отчетов и изображение-текст ретриевл, модель показала стабильно высокие результаты. #### Значимость RenalCLIP представляет собой мощный инструмент для повышения точности диагностики и прогноза почечных опухолей. Она обладает преимуществом в своей мультизадачной природе и высокой эффективности данных. Модель может стать ключевым средством для улучшения клинического рабочего процесса в урологической онкологии, помогая в диагностике