SemToken: Semantic-Aware Tokenization for Efficient Long-Context Language Modeling

#### Контекст В современной области языковых моделей становится все важнее эффективное обработка длинных контекстов. Одна из ключевых сложностей заключается в том, что существующие методы токенизации, такие как Byte-Pair Encoding (BPE) и WordPiece, оперируют только статистическими признаками частот слов и фрагментов, не учитывая их семантическую структуру. Это приводит к перераспределению между потребностями в точности и эффективности вычислений. Например, в регионах текста с высокой контекстуальной нагрузкой происходит частое разбиение на мелкие токены, что приводит к избыточности. А в областях с низкой информативностью, например, в повторяющихся фрагментах, нет достаточного разбиения, что приводит к увеличению неэффективности вычислений. Таким образом, данный мотивационный факт показывает, что необходимо разработать более гибкий и семантически ориентированный подход к токенизации. #### Метод Для решения этих проблем предлагается **SemToken** — фреймворк, который использует семантические эмбеддинги для оптимизации токенизации. Метод работает следующим образом: сначала используются легковесные семантические кодировщики для получения эмбеддингов для каждого токена. Затем происходит локальная кластеризация, которая объединяет токены с семантически похожей семантикой. На последнем этапе в зависимости от семантической плотности текста задается гранулярность токенизации — токены в богатых семантическим контекстом получают более точное разбиение, в то время как в повторяющихся фрагментах — компрессия. Этот подход позволяет повысить эффективность вычислений, сохранив точность модели. #### Результаты Проведенные эксперименты показали, что **SemToken** эффективно работает в сценариях длинных контекстов. На данных WikiText-103 и LongBench был получен до 2.4-кратный снижение количества токенов, что привело к увеличению скорости работы модели на 1.9 раз. Была проведена сравнительная оценка с BPE и WordPiece, и данные результаты показали, что **SemToken** не только экономит вычислительные ресурсы, но и сохраняет высокую точность в задачах языковой моделирования. Эти результаты подтверждают, что семантическое разбиение текста может быть эффективно использовано для оптимизации моделей языка. #### Значимость **SemToken** может быть применен в различных сценариях, где требуется эффективное обработка длинных текстов, такие как трансляторы, синтезаторы речи и другие модели языка, которые используют длинные контексты. Он позволяет экономить вычислительные ресурсы, не ухудшая качество модели. Благодаря этому, модели могут быть развернуты на устройствах с ограниченным вычислительным мощностью. Например, **SemToken** мож