LiMuon: Light and Fast Muon Optimizer for Large Models

Название статьи: LiMuon: Light and Fast Muon Optimizer for Large Models ## Контекст Область исследования связана с эффективным обучением крупных моделей в искусственном интеллекте. Тренировка таких моделей требует больших вычислительных ресурсов и времени, что становится ключевым заданием в становящемся популярным подходе моделей матричной структуры. Несмотря на развитие оптимизаторов, таких как Muon, которые ориентированы на матричные параметры, существуют проблемы, такие как высокая стоимость выбора и необходимость большого объема памяти. Эти проблемы становятся особенно актуальными при обучении моделей типа GPT или ViT. Мы предлагаем LiMuon — усовершенствованную версию Muon, которая уменьшает объем памяти и ускоряет процесс обучения. ## Метод LiMuon основывается на методе моментум и рандомизированной технике разложения Singular Value Decomposition (SVD). Мы разработали уникальный подход, который уменьшает объем памяти и оптимизирует вычисления. Архитектура LiMuon включает уменьшенные аппроксимации SVD, которые эффективно обрабатывают матричные параметры больших моделей. Также мы применяем моментум для сохранения накопленной информации в процессе обучения, что улучшает сходимость и работу оптимизатора. ## Результаты Мы проверили эффективность LiMuon на моделях DistilGPT2 и ViT. Результаты превосходства показывают, что LiMuon потребляет меньше памяти и работает быстрее, чем Muon. Наши эксперименты доказывают, что LiMuon достигает эквивалентной точности с меньшим вычислительным временем и требуемым объемом памяти. Для подтверждения квантитативной эффективности, мы проверили LiMuon на разных уровнях сложности моделей, показав, что он получает $\epsilon$-стационарное решение за $O(\epsilon^{-3})$, даже при условии нестрогого smoothness. ## Значимость LiMuon может использоваться для обучения различных крупных моделей в искусственном интеллекте, включая модели типа GPT или ViT. Он предлагает более эффективное решение для обучения, особенно в случаях, когда высокая стоимость выбора или большие объемы памяти являются критичными. Это делает LiMuon привлекательным для применения в реальных сетевых моделях, таких как боLTS и LLMs. ## Выводы Мы представили LiMuon — новую версию Muon, которая сокращает объем памяти и улучшает производительность при обучении больших моделей. Доказаны теоретические гарантии сходимости, даже при нестрогом условии smoothness. Будущие исследования будут ориентированы на расширение LiMuon для других задач, таких как глубокое обучение, и исследовании его применения в сложных сетевых моделях.