Hala Technical Report: Building Arabic-Centric Instruction & Translation Models at Scale

## Контекст В последние годы естественнозная обработка текстов (NLP) получила значительный уклад, особенно в области перевода и управляемых инструкций. Однако, несмотря на эти успехи, тексты на арабском языке, одного из широко используемых в мире языков, по-прежнему имеют ограниченное представление в масштабных моделях. Это связано с расширением арабского языка, сложной морфологией и наличием многочисленных диалектов. Отсутствие доступных текстовых ресурсов и сложности предобученных моделей, приспособленных к арабскому языку, далеко не всегда удовлетворяют потребности пользователей и разработчиков. Для решения этих проблем, авторы предлагают Hala, семейство моделей, которые предназначены для работы с арабским языком на разных уровнях. ## Метод Hala был построен с помощью пайплайна "перевод и тюнинг" (translate-and-tune). Модели AR$\leftrightarrow$EN были сжаты до FP8, что привело к увеличению пропускной способности в два раза без потери качества. Эта сжатая модель использовалась для генерации высококачественных билингвальных данных для тренировки. Далее, лёгкая модель лексического моделирования LFM2-1.2B была настроена на эти данные, чтобы переводить высококачественные английские инструкции в арабский язык. Это позволило получить миллион-класс корпуса, приспособленного для обучения моделей, способных выполнять инструкции. Модели Hala были обучены в весах 350M, 700M, 1.2B и 9B параметров. Для улучшения баланса между специализацией на арабский язык и прочностью основной модели была применена техника смешивания (slerp merging). ## Результаты Модели Hala были протестированы на нескольких арабских бенчмарках, и они показали сверхудшие результаты как в категории "неньо" (малые модели $\leq$ 2B параметров), так и в категории "малого размера" (7-9B параметров). Модели Hala не только превзошли основные модели, на которых они основывались, но и достигли состояния лидера в своей области. Эти результаты свидетельствуют о том, что Hala может значительно повысить эффективность обработки текстов на арабском языке. ## Значимость Hala может применяться в различных областях, включая перевод, арабско-центрическую обработку текстов и инструкционный поиск. Она обеспечивает более точную и эффективную обработку текстов, что может быть полезно для разработчиков, ученых и пользователей, которые работают с арабским языком. Эта модель также открывает новые возможности для развития моделей, ориентированных на поддержку разных языков, включая недостаточно исследованные. ## Выводы Hala является первым набором мо