Saudi-Dialect-ALLaM: LoRA Fine-Tuning for Dialectal Arabic Generation

#### Контекст В настоящее время большие языковые модели (LLMs) для арабского языка ориентированы на Модерн Стандартный Арабский (MSA), но поддержка диалектов, таких как Наджди и Хиджази, остается ограниченной. Это затрудняет достижение полной контрольности и точности генерируемого контента. Хотя существуют усилия по развитию моделей для диалектов, они сталкиваются с проблемами, такими как нехватка качественных данных и нарушение метаданных. Мы выделяем это проблему, сосредотачиваясь на Наджди и Хиджази, диалектах, широко говорящихся в Ар scholarship. В нашем исследовании мы стремимся упростить процесс генерирования текста в этих диалектах, улучшив контроль и точность текстов, что повысит качество интерактивных систем и снизит метаданные-эхо. #### Метод Мы использовали модель ALLaM-7B-Instruct-preview — первую фундаментальную модель, разработанную в Саудовской Аравии. Модель была прикручена к новой LoRA (Low-Rank Adaptation) для генерирования текста на Наджди и Хиджази. Мы изучили два подхода: (i) **Dialect-Token Training**, в котором для каждого запроса добавляется префиксный тег диалекта; и (ii) **No-Token Training**, в котором такой тег опускается. Мы тренировали модель на приватно скомпилированном Corpus Saudi Dialect Instruction (5,466 instruction-response pairs; 50/50 split) и оценивали её на запасном наборе данных средствами external dialect classifier (для контроля языка) и fidelity metrics (chrF++ и BERTScore). Наша модель была сравнена с другими инструктивными моделями, такими как Falcon-7B-Instruct, Llama-3.1-8B-Instruct, Qwen-2.5-7B-Instruct, AceGPT-v2-8B-Chat и JAIS-13B-Chat. #### Результаты Модель Dialect-Token показала значительные улучшения в контроле диалекта, увеличив процент генерируемых надждийских и хиджазийских текстов с 47.97% до 84.21% и снизив процент MSA-leakage с 32.63% до 6.21%. Это привело к повышению точности текстов с chrF++ +3.53 и BERTScore +0.059. No-Token Training также демонстрировал повышение, но в меньшей степени. Мы также сравнили нашу модель с другими инструктивными моделями, демонстрируя её превосходство в контроле диалекта и точности. Однако подобные модели часто сталкиваются с проблемой метаданных-эхо, которая отсутствует в нашей реализации. #### Значимость Наша модель демонстрирует повышенную контрольность и точность в генерировании текстов на Наджди и Хиджази. Это делает её применимой в системах разговорных помощников, генерации текстов для социальных сетей и других приложениях, где точность и контроль языка критически важны. Мы не выпускаем данные или модели в открытом доступе, но предоставляем код для обучения, оценки и интерпретации, чтобы поддержать проверяемо