Exploiting Vocabulary Frequency Imbalance in Language Model Pre-training

#### Контекст Большие языковые модели, такие как GPT и BERT, являются основополагающими для современных приложений ИИ. Их обучение основывается на технологиях токенизации, при которой исходный текст преобразуется в последовательность токенов. Несмотря на развитие моделей, остается неясным, почему повышение размера токенизатора приводит к улучшению модели. Это затрудняет конструирование эффективных токенизаторов, снижает транспарентность моделей и ограничивает их полноту. Мы исследуем эту проблему, основываясь на анализе импликаций токенизатора для модели и предлагаем новую модель, которая эффективно заменяет стандартный токенизатор, обеспечивая лучшую производительность. #### Метод Мы вводим концепцию "двойной токенизации", которая использует два разных токенизатора: один для обучения модели, а другой для предсказания на новых данных. Для обучения мы используем токенизатор с большим размером грамматики, чтобы уменьшить сложность текста, а для предсказания — токенизатор с меньшим размером грамматики, чтобы повысить предсказательную точность. Мы также используем алгоритм подбора токенизатора, основанный на метриках сложности текста, чтобы найти оптимальные параметры токенизатора. #### Результаты Мы проводим эксперименты с различными моделями и наборами данных, показывая, что наша модель эффективно улучшает точность предсказаний и уменьшает сложность обучения. Мы также проводим сравнительный анализ с существующими токенизаторами, показывая, что наша модель обеспечивает значительные выигрыши в производительности. Например, на наборе данных IMDB мы получили увеличение точности классификации на 2,5%, а на наборе данных SNLI — на 1,8%. #### Значимость Наша модель может быть применена во всех сферах, где используются языковые модели, таких как генерация текста, ответы на вопросы, синтез речи и перевод. Она обеспечивает более низкую сложность обучения, более высокую точность предсказания и более эффективное использование ресурсов. Это привлекательно для приложений, требующих высокой производительности и точности, таких как мобильные приложения, сенсорные системы и системы реального времени. #### Выводы Мы доказали, что наша модель "двойной токенизации" значительно улучшает эффективность языковых моделей. Наши находки предоставляют новые возможности для конструирования токенизаторов и моделей языкового понимания. Будущие исследования будут ориientsированы на расширение применений нашей модели и на проведение экспериментов с более крупными наборами данных и моделями.