Dynaword: From One-shot to Continuously Developed Datasets
2508.02271v2
cs.CL, cs.AI
2025-08-09
Авторы:
Kenneth Enevoldsen, Kristian Nørgaard Jensen, Jan Kostkan, Balázs Szabó, Márton Kardos, Kirten Vad, Johan Heinsen, Andrea Blasi Núñez, Gianluca Barmina, Jacob Nielsen, Rasmus Larsen, Peter Vahlstrup, Per Møldrup Dalum, Desmond Elliott, Lukas Galke, Peter Schneider-Kamp, Kristoffer Nielbo
Резюме на русском
**Резюме**
В статье предлагается архитектура Dynaword, разработанная для создания больших, открытых языковых данных, которые могут быть постоянно обновляемыми благодаря участию сообщества. Основной проблемой, которую адресуется данный подход, является неэффективность и нестандартизация существующих методов создания и обновления данных. Эти проблемы включают зависимость от неясно указанных лицензий, статичность данных, которая мешает участию сообщества, и ограниченную возможность проверки качества данных.
Dynaword предлагает создавать данные, основанные на открытой лицензии, с постоянным обновлением и способностью включать вклады сторонних участников. Таким образом, данные становятся более качественными, востребованными и сохраняются в динамичном виде. Проверена эффективность этого подхода на примере Danish Dynaword, который превзошёл по объёму и качеству других аналогичных ресурсов и подтвердил силу динамического подхода в создании и поддержании языковых данных.
Abstract
Large-scale datasets are foundational for research and development in natural
language processing. However, current approaches face three key challenges: (1)
reliance on ambiguously licensed sources restricting use, sharing, and
derivative works; (2) static dataset releases that prevent community
contributions and diminish longevity; and (3) quality assurance processes
restricted to publishing teams rather than leveraging community expertise.
To address these limitations, we introduce two contributions: the Dynaword
approach and Danish Dynaword. The Dynaword approach is a framework for creating
large-scale, open datasets that can be continuously updated through community
collaboration. Danish Dynaword is a concrete implementation that validates this
approach and demonstrates its potential. Danish Dynaword contains over four
times as many tokens as comparable releases, is exclusively openly licensed,
and has received multiple contributions across industry and research. The
repository includes light-weight tests to ensure data formatting, quality, and
documentation, establishing a sustainable framework for ongoing community
contributions and dataset evolution.
Ссылки и действия
Дополнительные ресурсы: