Understanding and Improving the Shampoo Optimizer via Kullback-Leibler Minimization

## Контекст Модель Shampoo является адаптивным методом, использующим структурированную второстепенную оценку моментов. Она стала популярной благодаря своей эффективности в обучении нейронных сетей, особенно при работе с большими моделями и данными. Однако, существующие исследования ограничиваются анализом схемы оценки Shampoo с применением нормы Фробениуса. Этот подход оставляет въедать некоторые вопросы о поведении метода в нестандартных ситуациях. Мы вносим новый взгляд на оценку второго момента Shampoo, рассматривая ее как процесс оценки ковариационной матрицы через минимизацию Kullback-Leibler (KL). Это новая точка зрения позволяет выявить ограничения модели и предложить улучшения, которые могут повысить ее производительность. ## Метод Мы предлагаем новую схему оценки, названную KL-Shampoo, которая использует минимизацию Kullback-Leibler для улучшения точности и стабильности Shampoo. Базовая идея заключается в том, что вместо того, чтобы приближать вторую моментную оценку градиента к специальному структурированному виду, мы оптимизируем ее с помощью минимизации KL, что дает более точные и стабильные результаты. Этот подход устраняет зависимость от Adam для стабилизации, что убирает дополнительную память, необходимую для работы Adam. Мы также проводим эксперименты, которые демонстрируют, что KL-Shampoo может значительно повысить производительность Shampoo, даже в сравнении с ее Adam-stabilized вариантом SOAP. ## Результаты Мы проводили эксперименты на нескольких задачах, включая задачу обучения нейронных сетей. Использовались большие данные, как на реальных, так и на синтетических задачах, чтобы оценить производительность KL-Shampoo. Результаты показывают, что KL-Shampoo не только улучшает стабильность, но и повышает точность, в том числе выполняя лучше, чем Adam-stabilized вариант SOAP в задачах предварительного обучения нейронных сетей. Эти результаты подтверждают, что KL-Shampoo может быть использован вместо Adam для стабилизации Shampoo и демонстрирует значительные выгоды в производительности и эффективности. ## Значимость Наши результаты показывают, что KL-Shampoo может быть применено в различных областях, включая не только обучение нейронных сетей, но и другие задачи, где требуется эффективное обновление весов модели. Одним из основных преимуществ является убирание зависимости от Adam, что позволяет экономить ресурсы памяти и улучшать производительность. Кроме того, мы убедились, что KL-Shampoo может быть применено в реальных ситуациях, что делает его привлекательным для применения в сложных нейронных сетях и другой сложной моделировании. Мы считаем, что это может открыть новые возможности в глубоком обучении и других областях, где модели