Can LLMs Address Mental Health Questions? A Comparison with Human Therapists
2509.12102v1
cs.HC, cs.AI
2025-09-17
Авторы:
Synthia Wang, Yuwei Cheng, Austin Song, Sarah Keedy, Marc Berman, Nick Feamster
Резюме на русском
## Контекст
Ограниченный доступ к медицинской помощи в области психологического здравоохранения стал причиной развития цифровых инструментов и разговорных агентов, основанных на больших языковых моделях (LLM). Хотя эти технологии имеют потенциал для улучшения доступа к медицинской поддержке, их качество и приемлемость остаются неясными. Это исследование сравнивает ответы, написанные специалистами-психотерапевтами, с ответами, сгенерированными ChatGPT, Gemini и Llama, на реальные вопросы от пациентов. Оно подчеркивает необходимость развития систем, которые могут обеспечивать качественную помощь, сочетая сильные стороны LLMs с беспокойством о доверии, конфиденциальности и ответственности.
## Метод
Для сравнения ответов использовались тексты, сгенерированные LLM-системами и ответов психотерапевтов на реальные вопросы пациентов. Эксперименты включали текстовый анализ, оценку читабельности, лексического разнообразия и тональности. Оценка ответов проводилась в результате опроса, в котором участвовали 150 пользователей и 23 лицензированных психотерапевтов. Методы включали классический текстовый анализ, оценку эмоционального цвета и речевых характеристик, а также сравнение стилей написания ответов.
## Результаты
LLM-системы сгенерировали ответы, характеризующиеся большим объемом текста, выше уровнем читабельности, богатством лексики и более позитивным тоном. Ответы психотерапевтов чаще были написаны в первого лица, что может свидетельствовать о более личном подходе. В опросе, посвященном оценке качества ответов, участники отметили, что ответы LLM были яснее, более уважительными и поддерживающими, но при этом выражали большую предпочтение к ответам психотерапевтов.
## Значимость
Результаты имеют большое значение в области цифровых решений для поддержки психологического здоровья. LLMs демонстрируют потенциал в создании читабельных и поддерживающих ответов, но требуют дополнительного развития для повышения доверия пользователей и обеспечения конфиденциальности. Они могут использоваться как дополнение к традиционным методам лечения, но необходимо учитывать возможные ограничения в доверии к технологиям и риск замены человеческого специалиста.
## Выводы
LLMs могут оказаться полезными в области ментального здоровья, но их применение должно сочетаться с учетом потребностей пользователей и требований этичности. Будущие исследования должны сфокусироваться на улучшении методов, которые обеспечивают более высокую надежность, наделенность и понимание человеческих эмоций, чтобы добиться более эф
Abstract
Limited access to mental health care has motivated the use of digital tools
and conversational agents powered by large language models (LLMs), yet their
quality and reception remain unclear. We present a study comparing
therapist-written responses to those generated by ChatGPT, Gemini, and Llama
for real patient questions. Text analysis showed that LLMs produced longer,
more readable, and lexically richer responses with a more positive tone, while
therapist responses were more often written in the first person. In a survey
with 150 users and 23 licensed therapists, participants rated LLM responses as
clearer, more respectful, and more supportive than therapist-written answers.
Yet, both groups of participants expressed a stronger preference for human
therapist support. These findings highlight the promise and limitations of LLMs
in mental health, underscoring the need for designs that balance their
communicative strengths with concerns of trust, privacy, and accountability.
Ссылки и действия
Дополнительные ресурсы: