Optimizing Small Transformer-Based Language Models for Multi-Label Sentiment Analysis in Short Texts

#### Контекст Обезличенная обработка естественного языка (NLP) стала ключевым направлением искусственного интеллекта, особенно в сфере анализа человеческого коммуникационного поведения. Однако, анализ отношений в кратких текстах, таких как сообщения в социальных сетях, короткие электронные письма или тексты со смайликами, представляет собой серьезные вызовы. Эти проблемы включают неполный контекст, низкий контекст текста, и специфичность тематики. Большинство существующих решений для многометковой классификации отношений используют модели, которые требуют большого объема вычислительных ресурсов и памяти, что делает их неэффективными в ресурсосужающих условиях. Недавние достижения в области моделей трансформеров дали новые возможности, но существуют проблемы с обучением моделей на малом количестве данных. Мы исследуем, насколько эффективно могут быть использованы небольшие модели трансформеров с меньшим числом параметров для решения задачи многометковой классификации отношений в кратких текстах. #### Метод Мы рассматриваем следующие три ключевых фактора, которые могут повлиять на точность и эффективность моделей трансформеров. (1) **Начальная предобученная модель**. Мы используем модели BERT и RoBERTa, но с более мелкими моделями, которые имеют меньше чем 1 миллиард параметров. (2) **Предобучение на домене**. Мы проводим дополнительное предобучение на домене, используя методы обучения на корпусе текстов. (3) **Архитектура классификационного головного органа**. Мы изменяем архитектуру классификационного модели, в том числе пробовали новые слои и нейронные сети. Мы проводим эксперименты на многометковой классификации отношений в кратких текстах, сравнивая результаты с традиционными моделями. #### Результаты Мы проводили эксперименты на нескольких тестовых наборах данных, включая ту, которая содержит 10 классов отношений в социальных сообщениях. Мы использовали метрики точности, F1-меру и Recall для оценки качества классификации. Наши результаты показывают, что добавление генерируемых данных с помощью генеративной модели увеличивает точность и F1-меру, но дополнительное предобучение модели на домене может влиять на качество классификации в разных ситуациях. Изменения архитектуры классификационного головного органа дают лишь незначительные улучшения. #### Значимость Мы показали, что небольшие модели трансформеров могут быть эффективно использованы в ресурсосужающих условиях, что может быть полезно для приложений в реальном времени, таких как мобильные приложения и облачные сервисы