Rethinking Tokenization for Rich Morphology: The Dominance of Unigram over BPE and Morphological Alignment

## Контекст Современные языковые модели (Language Models, LM) требуют эффективных методов токенизации для обработки текстов различных языков. Хотя на большинстве типичных языков (например, английского) существуют успешные токенизаторы, для языков с богатым морфологическим разнообразием (например, хинди или телугу) эта задача остается трудной. Несколько работ показали, что морфологически алергентанные подходы могут улучшить работу LM, но результаты остаются неоднозначными. Наша мотивация заключается в разборе этих феноменов и поиске оптимальных токенизаторов для таких языков. ## Метод Мы использовали три типичных токенизатора: Byte-Pair Encoding (BPE), Unigram, и Morphological Tokenizer. Для телугу, хинди и английского мы сравнили их на широком наборе задач: POS-тэггинга, NER и деревянного разбора. Для телугу, мы создали специальный набор данных с золотыми морфемными разбиениями для 600 деривационных и 7000 инфлекционных слов. Таким образом, мы могли оценить качество токенизации и морфологическую алергентность токенизаторов. ## Результаты Мы выявили, что Unigram-based токенизаторы показали лучшие результаты в большинстве случаев, особенно в задачах, которые используют синтаксические связи. Хотя морфологически алергентанные токенизаторы показали небольшую пользу для задач, связанных с морфологической структурой текста, их влияние оказалось слабее, чем влияние различных токенизаторов. Эксперименты показали, что корпусные метрики (CTC, Rényi entropy) не сильно коррелируют с результатами на датасетах, показав ограниченность их использования для оценки токенизаторов. ## Значимость Наши результаты имеют значение для разработчиков LM, особенно для тех, кто работает с языками с высокой морфологической сложностью. Мы доказали, что токенизаторы Unigram являются оптимальным выбором для многих типичных задач, даже несмотря на то, что морфологическая алергентанность имеет небольшое влияние. Это открывает пути для развития более мощных токенизаторов, оптимизированных для конкретных языков. ## Выводы Мы проанализировали три метода токенизации на трех языках с разными морфологическими особенностями. Мы отметили, что Unigram-based токенизаторы превосходят другие подходы в большинстве случаев, особенно в задачах синтаксиса. Наше исследование указывает на необходимость развития морфологически алергентанных методов токенизации, которые могут дополнительно улучшить работу LM. Будущие исследования будут ориентированы на улучшение токенизированных единиц для языков с высокой морфологической сложностью.