Multilingual Hope Speech Detection: A Comparative Study of Logistic Regression, mBERT, and XLM-RoBERTa with Active Learning

#### Контекст Онлайн-дискурсы часто становятся местом развития негативных и конфликтных отношений. В этой светской реальности значимость слов, которые приносят надежду и оптимизм, высока. Изучение такого «hope speech** (слова вдохновения)** помогает создавать позитивные интеракции и снижать подстрекательство. Однако этот вид анализа сложно выполнить в многоязычных и недостаточно ресурсных языках. Недостаток аннотированных данных останавливает многие модели, особенно в слабо ресурсных языках. Наша мотивация заключается в разработке методов, которые смогут работать с минимальной аннотацией, используя преимущества трансформерных моделей и активного обучения. #### Метод Мы предлагаем мультиязычный подход к нахождению слов вдохновения, основанный на активном обучении и трансформерных моделях. Использовались модели **mBERT** и **XLM-RoBERTa**, воспроизводящие знания разных языков. Модели обучались на многоязычных данных, включая **английский, испанский, немецкий и урду**. Для детальной оценки использовались бенчмарк-тестовые наборы. Мы использовали **активное обучение**, при котором модель сама выбирала наиболее полезные для обучения данные. Это позволило повысить эффективность аннотации даже в условиях ограниченных ресурсов. #### Результаты Выполнены эксперименты на **4 языках**, включая **бенчмарк-тестовые наборы**. Модель **XLM-RoBERTa** показала высокую точность в 78,4%, превосходя другие модели и традиционные подходы. Метод активного обучения показал себя эффективным, даже при малых объемах аннотированных данных. Мультиязычная модель **mBERT** также продемонстрировала хорошие результаты, но оставалась слабой в сравнении с **XLM-RoBERTa**. Эти результаты показывают возможность использования преобразовательных моделей для нахождения положительных слов в мультиязычной среде. #### Значимость Наш подход может быть применен в **дискурс-анализе, моделировании позитивных отношений и мотивации в онлайн-средах**. Мы показали, что модели **transformer** могут работать даже в условиях нехватки данных, что важно в слабо ресурсных языках. Это может повысить диалог в межкультурных и многоязычных средах, способствовать пониманию и созданию благоприятных условий для общения. Также предложенный подход может быть расширен на другие сферы, такие как мотивационный анализ и управление позитивным контентом. #### Выводы Наша работа продемонстрировала, что **XLM-RoBERTa** является эффективной моделью для нахождения слов вдохновения в многоязычных условиях. Мы также показали, что активное обучение может оптимизировать использование ресурсов при обучении