Prompting Large Language Models to Detect Dementia Family Caregivers
2508.01999v1
cs.CL, cs.LG
2025-08-09
Авторы:
Md Badsha Biswas, Özlem Uzuner
Резюме на русском
**Резюме**
В статье рассматривается задача идентификации твитов, написанных семейными гуманными помощниками, заботившимися о близких с диагнозом деменции. Эта задача представлена в виде бинарной классификации, которая отличает твиты, где упоминается диагноз в контексте семейного члена, от остальных. Авторы предлагают решение, основанное на применении методов подсказок (prompting) для глубоких языковых моделей (LLMs). Использование небольшого количества тренировочных данных позволило использовать простую zero-shot подсказку (zero-shot prompting), которая дала лучший результат по метрике макро-F1-меры (0.95) на валидационной и тестовой выборке. Исходный код решения доступен на GitHub. Основные выводы: zero-shot prompting оказался эффективным для этой задачи, позволив достичь высокой точности с минимальными ресурсами.
Abstract
Social media, such as Twitter, provides opportunities for caregivers of
dementia patients to share their experiences and seek support for a variety of
reasons. Availability of this information online also paves the way for the
development of internet-based interventions in their support. However, for this
purpose, tweets written by caregivers of dementia patients must first be
identified. This paper demonstrates our system for the SMM4H 2025 shared task
3, which focuses on detecting tweets posted by individuals who have a family
member with dementia. The task is outlined as a binary classification problem,
differentiating between tweets that mention dementia in the context of a family
member and those that do not. Our solution to this problem explores large
language models (LLMs) with various prompting methods. Our results show that a
simple zero-shot prompt on a fine-tuned model yielded the best results. Our
final system achieved a macro F1-score of 0.95 on the validation set and the
test set. Our full code is available on GitHub.
Ссылки и действия
Дополнительные ресурсы: