Transfer Learning via Lexical Relatedness: A Sarcasm and Hate Speech Case Study

#### Контекст Социальные сети становятся все более многообразными, что приводит к распространению неочевидных форм выражения, таких как сарказм и ненависть. Определение таких феноменов чрезвычайно важно для создания защитных механизмов, которые могут распознавать их вне зависимости от добросовестности или намеренности. Однако сарказм и ненависть часто перекрываются в плане устойчивости и контекста, что создает сложности для классических моделей. Мы изучаем возможность использования сарказма как предварительного шага в обучении моделей к распознаванию ненависти, а также оцениваем возможность использования этих моделей для обнаружения имплицитного и эксплицитного ненависти. #### Метод Мы предложили две стратегии обучения, которые используют сарказм для повышения точности моделей распознавания ненависти. Первая стратегия предполагает процесс обучения в один шаг. Модель, обучающаяся на сарказме, работает на данных ненависти, чтобы оценить её эффективность. Вторая стратегия использует последовательные шаги: модель обучается на сарказме, затем подгоняется на имплицитной ненависти и снова подгоняется на эксплицитной ненависти. Мы использовали данные из набора ETHOS, Reddit Sarcasm Corpus и Implicit Hate Corpus. Модели, которые мы исследовали, включали CNN+LSTM и BERT+BiLSTM. #### Результаты Мы оценили эффективность обучения на сарказме через показатели recall, AUC и F1-score. Модель BERT+BiLSTM показала улучшение recall-а на 9,7%, AUC на 7,8% и F1-score на 6% на ETHOS, используя сарказм как предварительный шаг. Имплицитная ненависть обнаруживалась с большей точностью при использовании sarcasm-pre-trained модели. Эксплицитная ненависть также показала улучшение в F1-score, хотя не так ощутимо, как в случае с имплицитной ненавистью. #### Значимость Наши результаты показали, что использование сарказма в качестве предварительного шага может существенно улучшить модели распознавания ненависти. Этот подход имеет широкое применение в защите социальных сетей от ненависти и ненормативного языка. Изучение связи между сарказмом и ненавистью может позволить создать более точные модели, которые будут применяться в других областях, таких как анализ отношений в группах или мониторинг безопасности. #### Выводы Мы доказали, что сарказм может быть эффективным ресурсом для обучения моделей к распознаванию ненависти, в том числе имплицитной. Наш рабочий ход может быть расширен на другие типы неочевидного ненормативного языка. В будущем мы планируем проверить эти модели на более крупных выборках и исследовать другие методы предварительного обучения.