GradES: Significantly Faster Training in Transformers with Gradient-Based Early Stopping

## Контекст Transformers, как основная архитектура для обработки текста, широко применяются в сферах, таких как NLP, машинное обучение и анализ данных. Однако их обучение требует больших вычислительных ресурсов и времени, особенно при работе с большими объемами данных. Одна из сложностей — это процесс early stopping, который ставится перед тем, чтобы предотвратить переобучение. Обычно early stopping основывается на мониторинге глобального значения validation loss и приостанавливает обучение для всех параметров одновременно. Это подход неэффективен, так как для проверки глобального loss требуется дорогостоящая процедура валидации, особенно для крупных моделей. ## Метод Мы предлагаем GradES — новое, более эффективное решение для gradient-based early stopping, которое работает на уровне компонентов модели. GradES отслеживает магнитуду градиентов в фазе обучения, оперируя непосредственно с матрицами Feed-Forward и матрицами проекции в аттенционной части. Когда модуль градиентов для какой-либо матрицы падёт ниже заданного порога $\tau$, мы останавливаем обновление этой матрицы, но оставляем другие матрицы в процессе обучения. Это позволяет уменьшить количество проверок валидации и ускорить обучение, оставляя медленно узнавающие параметры в процессе обучения. ## Результаты Мы провели эксперименты на известных датасетах, включая GLUE и SuperGLUE. Мы использовали различные модели Transformer, включая BERT, RoBERTa и DistilBERT. Наши результаты показали, что GradES ускоряет обучение в 1.57–7.22 раз по сравнению с традиционным early stopping. Это даёт значительное уменьшение времени обучения для крупных моделей. Кроме того, GradES улучшает generalization, повышая average accuracy на 1.2%, что имеет значение для высокопроизводительных моделей. ## Значимость Решение GradES имеет широкую область применения в обучении моделей Transformer. Оно позволяет не только ускорить обучение, но и улучшить качество модели, предотвратив переобучение раньше. Это особенно важно для технологий, где необходимо быстрое обучение и точность результатов. Благодаря GradES, можно эффективно использовать ресурсы, чтобы получить высококачественные модели за меньшее время. ## Выводы Мы представили GradES, новую технику для gradient-based early stopping, которая быстрее и эффективнее традиционных подходов. Мы показали, что GradES ускоряет обучение без потерь в качестве. В будущем мы планируем расширить GradES для других типов моделей и датасетов, а также исследовать возможность его использования для других задач в области NLP и даже за её пределами.