Marito: Structuring and Building Open Multilingual Terminologies for South African NLP

2508.03529v1 cs.CL 2025-08-09
Авторы:

Vukosi Marivate, Isheanesu Dzingirai, Fiskani Banda, Richard Lastrucci, Thapelo Sindane, Keabetswe Madumo, Kayode Olaleye, Abiodun Modupe, Unarine Netshifhefhe, Herkulaas Combrink, Mohlatlego Nakeng, Matome Ledwaba

Резюме на русском

**Резюме** В Сатурн возникла проблема с отсутствием структурированных терминологических данных для официальных языков ЮАР, что существенно ограничивает развитие многоязычного NLP. Хотя существуют многочисленные терминологические списки, они нераздельны и заключены в немашинночитаемых форматах. Авторы предлагают решение — систематическую агрегацию и стандартизацию этих данных в открытые, машинночитаемые датасеты под названием **Marito**. Датасет, основанный на Africa-centered NOODL фреймворке, позволяет интегрировать терминологию в различные NLP-приложения. В качестве демонстрации, авторы интегрировали Marito в RAG-пайплайн, повысив точность и доменную консистентность перевода Английского на Тшивенда с помощью больших языковых моделей. Работа показывает, что Marito может стать основой для развития справедливых и эффективных технологий NLP, обеспечивающих учет языковой диверситети ЮАР в цифровой эпохе.

Abstract

The critical lack of structured terminological data for South Africa's official languages hampers progress in multilingual NLP, despite the existence of numerous government and academic terminology lists. These valuable assets remain fragmented and locked in non-machine-readable formats, rendering them unusable for computational research and development. \emph{Marito} addresses this challenge by systematically aggregating, cleaning, and standardising these scattered resources into open, interoperable datasets. We introduce the foundational \emph{Marito} dataset, released under the equitable, Africa-centered NOODL framework. To demonstrate its immediate utility, we integrate the terminology into a Retrieval-Augmented Generation (RAG) pipeline. Experiments show substantial improvements in the accuracy and domain-specific consistency of English-to-Tshivenda machine translation for large language models. \emph{Marito} provides a scalable foundation for developing robust and equitable NLP technologies, ensuring South Africa's rich linguistic diversity is represented in the digital age.

Ссылки и действия