Expanding Foundational Language Capabilities in Open-Source LLMs through a Korean Case Study

## Контекст В последние годы рост искусственных нейронных сетей, особенно языковых моделей (LLMs), достиг новых высот. Однако, несмотря на их успех, существуют значительные трудности при адаптации таких моделей к языкам, отличающимся синтаксическими и лексикографическими особенностями. Корейский язык, своими уникальными характеристиками, представляет сложности для обучения моделей, отсутствующих специальной архитектуры и данных. Это приводит к узкому спектру применения языковых моделей в корейском контексте, ограничивая их эффективность. Llama-3-Motif — это языковая модель, разработанная для улучшения производительности на корейском языке, при этом сохраняя высокую эффективность на английском. Наша модель основывается на Llama 3, но включает усовершенствованные методы обучения и специально подобранные данные для расширения функциональности модели на корейском языке. ## Метод Llama-3-Motif основывается на Llama 3, но имеет специальные приемлеты для работы с корейским языком. Это реализовано через **LlamaPro** и **Masked Structure Growth**, которые позволяют масштабировать модель без изменения основной архитектуры Transformer. Мы использовали MoAI-platform для эффективного обучения на высокомасштабных GPU-кластерах. Для обучения включена сбалансированная комбинация корейских и английских данных, чтобы сделать модель более универсальной. Этот подход позволяет Llama-3-Motif оптимизироваться для корейского языка, при этом сохраняя высокую производительность на английском. ## Результаты Мы проводили эксперименты, используя широкий набор корейских и английских тестов, включая корейские специфические бенчмарки. Результаты показали, что Llama-3-Motif превосходит существующие модели, достигая результатов, которые приближаются к GPT-4. На корейских тестах, Llama-3-Motif отличается значительным улучшением в сравнении с другими моделями, особенно в задачах понимания языка и вывода. Эти результаты указывают на успешное расширение функциональности модели для корейского языка без потери производительности на английском. ## Значимость Llama-3-Motif может применяться в различных областях, включая трансляцию, анализ документов на корейском языке, обучение и развитие новых моделей. Основное преимущество заключается в усовершенствовании производительности для корейского языка, что открывает новые возможности для использования в региональных приложениях. Эта модель может стать ключевым инструментом для развития ИИ на корейском языке, повышая эффективность в различных сферах бизнеса и образования. ## Выводы Результаты Llama-3-Motif