Mental Multi-class Classification on Social Media: Benchmarking Transformer Architectures against LSTM Models

#### Контекст Социальные медиа становятся важной платформой для открытия о личных борьбах с психологическими расстройствами. Это способствует раннему выявлению заболеваний, таких как депрессия и биполярное расстройство. Однако большинство исследований в области NLP ограничиваются одно-масштабным распознаванием расстройств. Для понимания мощности усовершенствованных методов NLP в многоклассовом классификационном задании, включающем несколько расстройств, необходимо проведение широкомасштабных экспериментов. #### Метод Для тестирования была сформирована база данных со статьями из Reddit, охватывающих шесть классов психологических расстройств, а также контрольную группу. Данные были тщательно подготовлены с применением статистического анализа и фильтрации для повышения качества аннотаций. Исследование включало сравнение ряда моделей на основе трансформеров (BERT, RoBERTa, DistilBERT, ALBERT, ELECTRA) и вариантов LSTM с использованием разных вариантов входных данных и архитектур. #### Результаты В ходе экспериментов было показано, что трансформеры в большинстве случаев превосходят LSTM-модели. Модель RoBERTa показала наивысшие показатели F1-меры и точности классификации, достигая 91–99% на всех классах. Особого внимания заслуживают LSTM-модели с аугментацией аттенцией и BERT-входными данными, которые показали почти одинаковые результаты с трансформерами, при этом обучались до 3.5 раз быстрее. Модели с использованием статических эмбеддингов, в свою очередь, становились менее эффективными. #### Значимость Результаты этих исследований могут использоваться в области раннего выявления питаний на социальных сетях, повышению эффективности медицинских систем и психологического консультирования. Особенно важным является то, что модели трансформеров представляют собой лучшую альтернативу для многоклассовой классификации психологических расстройств, учитывая свои более высокие показатели точности. #### Выводы В ходе работы было установлено, что трансформеры, в частности RoBERTa, являются лучшими выборами для задач многоклассовой классификации психологических расстройств. Будущие работы будут направлены на улучшение эффективности трансформеров для деплоя в реальных приложениях, например, в рамках более низких ресурсов и более высокой скорости выполнения.