Domain-Adaptive Pre-Training for Arabic Aspect-Based Sentiment Analysis: A Comparative Study of Domain Adaptation and Fine-Tuning Strategies

## Контекст Аспект-базированный сентиментный анализ (ABSA) — это важный подход в естественном языковом обработке, позволяющий организациям понять отношение клиентов к конкретным аспектам продукта или услуги. Данный подход имеет решающее значение для улучшения пользовательского опыта и повышения качества обслуживания. Несмотря на широкое применение ABSA в английском языке, его применение в арабском языке ограничивается существующими проблемами, связанными с недостатком меток и отклонениями в семантике. Эти проблемы усиливаются тем, что модели на основе глубокого обучения часто тренируются на общих языковых данных, что приводит к биазу и неэффективности при работе с доменами, такими как арабская традиционная и разговорная лексика. Изучение этих трудностей мотивировало авторов начать работу над разработкой метода, который мог бы улучшить эффективность ABSA в арабском языке. ## Метод Для решения проблемы эффективности ABSA в арабском языке, авторы предложили подход, основанный на доменной адаптации для предобучения моделей с использованием локального контекста. Этот метод включал в себя использование моделей с глубоким знанием языка, таких как BERT, для предварительного обучения на доменных данных. Авторы применяли три стратегии файн-тюнинга: фичи-экстракция, полное файн-тюнинг и адаптер-базированный подход. Эти техники использовались для улучшения производительности в двух задачах: классификации аспектов-сентиментов (ASC) и извлечении выражений целевых объектов (OTE). Данный подход был применен к различным арабским датасетам, а результаты сравнивались с базовыми моделями, чтобы оценить эффективность адаптации и файн-тюнинга. ## Результаты Наблюдалось, что доменное предобучение может привести к небольшому, но заметному улучшению производительности, особенно в задачах, где данные требуют дополнительной специфики. Адаптер-базированный метод показал высокую эффективность за счет меньшего потребления ресурсов. Однако результаты экспериментов показали, что имеются проблемы с модельными предсказаниями, относящимися к неточностям в метках датасетов и сложностям с пониманием лексико-синтаксических отношений. В ABSA, проблемы включают неточное определение сентимента, сложности с различением контекстных связей, предпочтение терминам положительному сентименту и сложности с обработкой многосложных выражений. Для OTE, основные проблемы заключались в неточности в синтаксических зависимостях, понимании многосложных выражений и наличии весомых зависимостей от языковых характеристик. ## Значимость Предложенный подход