Using Large Language Models to Measure Symptom Severity in Patients At Risk for Schizophrenia

2508.10226v1 cs.CL, cs.AI 2025-08-16
Авторы:

Andrew X. Chen, Guillermo Horga, Sean Escola

Резюме на русском

## Контекст Клинически высокий риск (CHR) для развития шизофрения требует частых мониторингов симптомов для оперативной корректировки лечения. Одним из популярных инструментов для оценки симптомов шизофрении является Brief Psychiatric Rating Scale (BPRS), но он сложно применяется в клинической практике из-за длительных структурированных интервью. Эта проблема становится актуальной в свет роста интереса к шизофрении и частоте реализации рефератов в этой области. Мы исследуем возможность использования БОЛЬШИХ языковых моделей (LLMs) для предсказания BPRS-параметров на основе записей клинических интервью, что может существенно облегчить процесс мониторинга. ## Метод Для построения модели использовалась BPRS-параметризация из 409 записей клинических интервью из AMP-SCZ-когорты. Мы использовали zero-shot, one-shot и few-shot подходы, настроив модель на варьировании информации и синтезировании новых моделей на основе предыдущих данных. Модель тренировалась на связи между текстовыми данными и BPRS-метриками, чтобы предсказывать BPRS-параметры с максимальной точностью. ## Результаты LLM-модель показала высокое согласованность с BPRS-параметрами в zero-shot режиме (median concordance: 0.84, ICC: 0.73), почти добившись уровня согласованности человеческих интервьюеров. Эти результаты сохраняются при использовании данных на внешних языках (median concordance: 0.88, ICC: 0.70). Модель также демонстрирует способность учитывать лонгитюдные данные в парушот или фавшот режимах, улучшая точность предсказания. ## Значимость Этот подход может значительно упростить мониторинг симптомов у CHR-пациентов, повысив точность и стандартизировав ассистентские инструменты для врачей. Большие языковые модели также увеличивают шансы на интернационализацию подхода, позволяя применять его в различных регионах. Этот инновационный подход может стать ключевым элементом в раннем выявлении и контроле шизофрении. ## Выводы LLMs-модели демонстрируют высокую точность и согласованность в предсказании BPRS-параметров, могут стать альтернативой ручным оценкам. Будущие исследования будут сфокусированы на расширении данных, улучшении моделей и их применении в практических задачах клинической практики.

Abstract

Patients who are at clinical high risk (CHR) for schizophrenia need close monitoring of their symptoms to inform appropriate treatments. The Brief Psychiatric Rating Scale (BPRS) is a validated, commonly used research tool for measuring symptoms in patients with schizophrenia and other psychotic disorders; however, it is not commonly used in clinical practice as it requires a lengthy structured interview. Here, we utilize large language models (LLMs) to predict BPRS scores from clinical interview transcripts in 409 CHR patients from the Accelerating Medicines Partnership Schizophrenia (AMP-SCZ) cohort. Despite the interviews not being specifically structured to measure the BPRS, the zero-shot performance of the LLM predictions compared to the true assessment (median concordance: 0.84, ICC: 0.73) approaches human inter- and intra-rater reliability. We further demonstrate that LLMs have substantial potential to improve and standardize the assessment of CHR patients via their accuracy in assessing the BPRS in foreign languages (median concordance: 0.88, ICC: 0.70), and integrating longitudinal information in a one-shot or few-shot learning approach.

Ссылки и действия