DepressLLM: Interpretable domain-adapted language model for depression detection from real-world narratives

2508.08591v1 cs.CL, cs.AI 2025-08-14
Авторы:

Sehwan Moon, Aram Lee, Jeong Eun Kim, Hee-Ju Kang, Il-Seon Shin, Sung-Wan Kim, Jae-Min Kim, Min Jhon, Ju-Wan Kim

Резюме на русском

## Контекст Современные прогрессы в области бо LARGE LANGUAGE MODELS (LLMs) опенным образом расширили возможности применения искусственного интеллекта в различных сферах. Однако в сфере психиатрических заболеваний, таких как депрессия, существуют значительные сложности. Основной проблемой является нехватка больших, высококачественных и тщательно аннотированных данных, необходимых для обучения моделей. Это приводит к ограниченной точности в предсказании депрессии и затруднению ранней диагностики. Наличие таких данных является ключевым фактором для повышения точности моделей и их применения в психиатрической практике. ## Метод DepressLLM является первым интерпретируемым доменно-адаптированным языковым моделем, разработанным для детекции депрессии из реального жизненного текста. Он обучен на разработанной коресе DepressNarrativeCorpus, содержащей 3 699 автобиографических рассказов, которые отражают различные аспекты счастья и тревоги. Для обеспечения интерпретируемости решения использован модуль Score-guided Token Probability Summation (SToPS), который обеспечивает дополнительную видимость в процессе предсказания. Модель была тщательно тестирована на обученных данных, а также подвергнута валидации на независимых датасетах, включая журналы дневников и клинические записи. ## Результаты В ходе экспериментов DepressLLM показал высокую точность в предсказании депрессии, с AUC-значением 0.789. Благодаря SToPS-модулю, модель достигла улучшения в классификации и повысила уровень доверия к своим предсказаниям. На высокодоверительных мисклассификациях, проверенных вручную психиатрами, выявлены ключевые ограничения модели и данных, которые могут быть использованы для дальнейшего повышения точности. ## Значимость Разработанная модель может быть применена в различных областях, включая клиническую практику, мобильные приложения и анализ журналов эмоциональных состояний. Она предоставляет интерпретируемые результаты, обеспечивая доверие к предсказаниям и улучшая надежность в диагностике депрессии. Это демонстрирует потенциал интерпретируемых моделей AI в ранней диагностике и улучшении здоровья пациентов. ## Выводы DepressLLM представляет собой прорыв в области психиатрического AI за счет создания интерпретируемой модели, которая улучшает точность диагностики депрессии. Будущие исследования будут фокусироваться на повышении точности и расширении области применения модели, включая психотерапевтические приложения и анализ других психических состояний.

Abstract

Advances in large language models (LLMs) have enabled a wide range of applications. However, depression prediction is hindered by the lack of large-scale, high-quality, and rigorously annotated datasets. This study introduces DepressLLM, trained and evaluated on a novel corpus of 3,699 autobiographical narratives reflecting both happiness and distress. DepressLLM provides interpretable depression predictions and, via its Score-guided Token Probability Summation (SToPS) module, delivers both improved classification performance and reliable confidence estimates, achieving an AUC of 0.789, which rises to 0.904 on samples with confidence $\geq$ 0.95. To validate its robustness to heterogeneous data, we evaluated DepressLLM on in-house datasets, including an Ecological Momentary Assessment (EMA) corpus of daily stress and mood recordings, and on public clinical interview data. Finally, a psychiatric review of high-confidence misclassifications highlighted key model and data limitations that suggest directions for future refinements. These findings demonstrate that interpretable AI can enable earlier diagnosis of depression and underscore the promise of medical AI in psychiatry.

Ссылки и действия