MERIT: Maximum-normalized Element-wise Ratio for Language Model Large-batch Training

#### Контекст Повышение эффективности обучения глубоких нейронных сетей с помощью больших пакетов данных (large-batch training) является ключевым подходом для ускорения процесса обучения. Однако этот подход сопряжен с оптимизационными и затруднениями в общей Flexibility сетей. Особенно это чувствительно для моделей языка (language models), где увеличение размера пакета данных приводит к проблемам в оптимизации, в частности, к появлению "информационного бутапка" в слоях аттенции (attention layers). Это происходит из-за роста максимального значения аттенционного веса (max attention logit), который нарушает нормальное распределение весов. Традиционные методы, такие как LAMB, не полностью успешны в решении этой проблемы, так как их нормы $l_2$-based не всегда эффективны в контроле максимальных значений в аттенциях. #### Метод Мы предлагаем MERIT (Maximum-normalized Element-wise Ratio for Language Model Large-batch Training) — новую методологию для оптимизации больших пакетов в языковых моделях. MERIT использует максимальное значение (max-norm) для вычисления масштабирования (trust ratio), что позволяет более эффективно контролировать максимальные значения в аттенциях. Для дополнительного улучшения, мы вводим элемент-wise trust ratios, которые учитывают локальные структуры весов внутри каждой строки и столбца. Это позволяет лучше оптимизировать градиенты и сохранить стабильность обучения. #### Результаты Мы провести ряд экспериментов с GPT-2 моделями разных размеров (Small, Medium, Large). Наиболее заметным результатом была проверка на GPT-2 Medium, где MERIT позволил использовать большие пакеты данных (batch size 6k) без каких-либо потерь в качестве обучения, что соответствует использованию batch size 480 при обучении на 48B токенов. Это демонстрирует улучшение стабильности и эффективности обучения в сравнении с LAMB и AdamW. #### Значимость MERIT имеет широкие применения в области обучения языковых моделей, особенно при использовании больших пакетов данных. Он позволяет увеличить скорость обучения без потери качества и повысить удобство итерации при разработке моделей. Его преимущества включают улучшенную стабильность, эффективность и гибкость в тренировке моделей, что делает его ключевым инструментом для современного NLP. #### Выводы Мы представили MERIT — новую методологию для больших пакетов в языковых моделях, которая решает проблему максимальных аттенционных весов. Его успех указывает на важность учета max attention logit в оптимизации и открывает новые возможности для более быстрой и качественной разработки больших языковых моделей. Будущие исследования будут ориентированы на расширение MERIT для других типов нейронных сетей и его применение в сложных задачах NLP.