chDzDT: Word-level morphology-aware language model for Algerian social media text

#### Контекст Процессы прикладного языкознания на базе ИИ становятся все более важными в современном мире. Одна из основных проблем заключается в недостаточной представительности языков и диалектов в существующих моделях. Одним из таких подзабытых языков является алжирский диалект, который сильно отличается от стандартного арабского. Он отличается сложной морфологией, частым кодовым смешением, использованием разных письменностей и значительным влиянием других языков, таких как французский и берберский. Эти характеристики создают сложности при обработке текстов на этом языке. До этого момента было предложено несколько моделей, но они оставляют за собой значительные пробелы в представлении морфологических структур, что сказывается на качестве обработки текста. Учитывая эти проблемы, в статье предлагается chDzDT — модель, ориентированная на морфологию, разработанная специально для алжирского диалекта. #### Метод chDzDT — это морфологически ориентированная модель характера, разработанная на основе предварительно обученных моделей. Основное отличие в том, что она не оперирует токенами, как многие другие PLM, а использует слова в изолированном виде, что позволяет ей лучше учитывать множество морфологических характеристик. Модель обучена на широком корпусе, включающем комментарии к YouTube, варианты текстов на французском, английском и берберском языках, а также данные из проекта Tatoeba. Данный подход позволяет лучше учитывать морфологические подробности и устраняет некоторые проблемы, связанные с традиционными подходами. #### Результаты В ходе экспериментов был проведен подробный морфологический анализ алжирского диалекта, используя данные из YouTube. Был сформирован многоязычный лексикон-датасет, позволяющий повысить качество обучения. Была разработана и протестирована модель chDzDT, которая показала себя как эффективный инструмент для обработки текстов на алжирском диалекте. Модель показала значительные улучшения в решении задач, связанных с морфологией, и дала новые возможности для развития естественного языкового процессинга в данном регионе. #### Значимость chDzDT может использоваться в различных прикладных задачах, таких как текстовая классификация, генерация текстов и распознавание тональности. Эта модель предоставляет более точное представление морфологических структур, что позволяет улучшить качество решения задач, связанных с алжирским диалектом. Благодаря многоязычности и гибкости, модель может быть применена в разных контекстах, включая обработку данных в международных проектах. Такой подход мо