Marito: Structuring and Building Open Multilingual Terminologies for South African NLP
2508.03529v1
cs.CL
2025-08-09
Авторы:
Vukosi Marivate, Isheanesu Dzingirai, Fiskani Banda, Richard Lastrucci, Thapelo Sindane, Keabetswe Madumo, Kayode Olaleye, Abiodun Modupe, Unarine Netshifhefhe, Herkulaas Combrink, Mohlatlego Nakeng, Matome Ledwaba
Резюме на русском
**Резюме**
В Сатурн возникла проблема с отсутствием структурированных терминологических данных для официальных языков ЮАР, что существенно ограничивает развитие многоязычного NLP. Хотя существуют многочисленные терминологические списки, они нераздельны и заключены в немашинночитаемых форматах. Авторы предлагают решение — систематическую агрегацию и стандартизацию этих данных в открытые, машинночитаемые датасеты под названием **Marito**. Датасет, основанный на Africa-centered NOODL фреймворке, позволяет интегрировать терминологию в различные NLP-приложения. В качестве демонстрации, авторы интегрировали Marito в RAG-пайплайн, повысив точность и доменную консистентность перевода Английского на Тшивенда с помощью больших языковых моделей. Работа показывает, что Marito может стать основой для развития справедливых и эффективных технологий NLP, обеспечивающих учет языковой диверситети ЮАР в цифровой эпохе.
Abstract
The critical lack of structured terminological data for South Africa's
official languages hampers progress in multilingual NLP, despite the existence
of numerous government and academic terminology lists. These valuable assets
remain fragmented and locked in non-machine-readable formats, rendering them
unusable for computational research and development. \emph{Marito} addresses
this challenge by systematically aggregating, cleaning, and standardising these
scattered resources into open, interoperable datasets. We introduce the
foundational \emph{Marito} dataset, released under the equitable,
Africa-centered NOODL framework. To demonstrate its immediate utility, we
integrate the terminology into a Retrieval-Augmented Generation (RAG) pipeline.
Experiments show substantial improvements in the accuracy and domain-specific
consistency of English-to-Tshivenda machine translation for large language
models. \emph{Marito} provides a scalable foundation for developing robust and
equitable NLP technologies, ensuring South Africa's rich linguistic diversity
is represented in the digital age.
Ссылки и действия
Дополнительные ресурсы: