AdaGrad Meets Muon: Adaptive Stepsizes for Orthogonal Updates

#### Контекст В последние годы искусственные нейронные сети (ANN) стали важной компонентой систем машинного обучения. Одним из ключевых аспектов обучения ANN является эффективность алгоритмов оптимизации, которые используются для обучения моделей. Одним из таких алгоритмов является Muon, который использует ортогональное обновление весов. Этот подход показал свою эффективность в обучении больших языковых моделей. Однако, одной из проблем при использовании Muon является необходимость определить подходящий темп обучения (learning rate). Напротив, широко используемый метод AdaGrad адаптирует темпы обучения на основе истории градиентов, что позволяет лучше скорректироваться в зависимости от локальных характеристик оптимизационного пространства. Этот разрыв мотивирует развитие новых методов, которые объединяли бы преимущества оба подхода. #### Метод Мы предлагаем метод AdaGO (AdaGrad Meets Muon), который сочетает принципы AdaGrad и Muon. Основная идея заключается в том, чтобы применять нормально ориентированную адаптивную степень обучения AdaGrad для ортогональных обновлений весов. Напротив, при использовании Muon, темпы обучения не подстраиваются под локальные особенности оптимизационного пространства. AdaGO сохраняет ортогональность обновлений, что дает возможность интерпретировать этот подход как спектральный спуск, при этом степени обучения адаптируются к характеристикам оптимизации. Алгоритм требует минимальных изменений в Muon, добавляя только одну дополнительную переменную для накопления квадратов градиентов. Это делает AdaGO выгодным как с точки зрения вычислительной сложности, так и с точки зрения использования памяти. #### Результаты Мы провели эксперименты на двух задачах: классификации изображений на датасете CIFAR-10 и регрессии функций. Мы сравнили AdaGO с Muon и Adam, широко используемым методом оптимизации. Наши результаты показали, что AdaGO показывает лучшие результаты, как в случае статической, так и динамической адаптации темпов обучения. Анализ локальных минимумов показал, что AdaGO предлагает более гладкую адаптацию к локальным особенностям задачи, позволяя более эффективно снизить функцию потерь. #### Значимость Мы видим применение AdaGO в многочисленных областях, где эффективность обучения является ключевой проблемой, таких как обучение больших моделей языкового моделирования, обработка естественного языка и изображений. Метод AdaGO предоставляет значительные преимущества в скорости обучения и качестве решения задач. Благодаря своей небольшой дополнительной сложности, AdaGO может легко внедряться в существующие системы оптимизации. #### Выво