Understanding Outer Optimizers in Local SGD: Learning Rates, Momentum, and Acceleration

## Контекст Модерная машинная обучение часто требует обучения с большим размером батча, распределенными данными и масштабируемыми вычислительным оборудованием, таким как мобильные устройства или распределенные центры обработки данных. В таких ситуациях коммуникация становится главным ограничивающим фактором. Одним из потенциальных способов уменьшения этого ограничения является использование Local Stochastic Gradient Descent (Local SGD). Этот метод представляет собой комбинацию локальных оптимизационных процессов, механизмов агрегации и внешнего оптимизатора, который использует агрегированные обновления от узлов для получения новой модели. Хотя существует значительная литература, посвященная влиянию гиперпараметров в локальных процессах, выбор внешнего оптимизатора и его гиперпараметров остается менее ясным. Цель нашего исследования заключается в изучении роли внешнего оптимизатора в Local SGD и в разработке теоретических гарантий для его эффективности. ## Метод Наша теоретическая модель основывается на изучении взаимодействия локального оптимизатора и внешнего оптимизатора в Local SGD. Мы рассматриваем различные варианты гиперпараметров, включая внешний learning rate и момент (для случая, когда он применяется в внешней оптимизации). Мы доказываем теоретические гарантии для того, как выбор гиперпараметров влияет на ошибку оптимизации и шум стохастических градиентов. Мы также рассматриваем различные случаи, включая ускорение внешнего оптимизатора и гибридные методы. Наши эксперименты проводятся на больших данных, включая языковые модели, и используются различные внешние оптимизаторы для проверки нашей теории. ## Результаты Мы провели эксперименты, в которых изучали эффект изменения внешнего learning rate на точность модели и ошибку оптимизации. Мы доказали, что увеличение внешнего learning rate может помочь компенсировать неправильный выбор внутреннего learning rate и уменьшить влияние шума в стохастических градиентах. Также мы проверили эффект момента внешнего оптимизатора и показали, что он может улучшить скорость сходимости. Мы также проверили гибридные стратегии, в которых используется ускорение внешнего оптимизатора, и показали, что они могут привести к более быстрой сходимости по отношению к количеству обменов сообщений. Наши результаты подтверждают теоретические выводы и демонстрируют эффективность нашей модели в различных условиях. ## Значимость Наши результаты имеют значительное значение для работы с большими распределенными моделями, где коммуникация является ключевым ограничивающим фактором. Мы показали, что правильный выбор внешнего learning rate и момента может значительно улучши