Fast Convergence Rates for Subsampled Natural Gradient Algorithms on Quadratic Model Problems

```## Контекст Субсемплированный естественный градиентный десцент (Subsampled Natural Gradient Descent, SNGD) является эффективным методом оптимизации, продемонстрировавшийся в задачах параметрической оптимизации в области статистической физики и глубокого обучения. Однако, недостаточно теоретических разъяснений для его поведения, особенно в случае идеализированных задач параметрической оптимизации. Задача SNGD состоит в том, чтобы оптимизировать функцию потерь, соответствующую параметрической модели, которая в свою очередь является линейной, а функция потерь — сильно вогнутой и квадратичной. Мы предлагаем новую теоретическую модель, которая объясняет эффективность SNGD в таких задачах. ## Метод Мы используем методы случайного линейного алгебры для анализа поведения SNGD в случае линейных моделей и квадратичных потерь. Основная идея заключается в том, что SNGD может быть рассмотрен как регуляризированный Kaczmarz метод, который имеет хорошо изученные свойства. В случае простой сильно вогнутой системы, мы показываем, что SNGD и SPRING (Accelerated Subsampled Natural Gradient Descent) могут быть связаны с методом градиентного спуска с регуляризатором. Это позволяет применить существующие результаты в теории случайного линейного алгебры для получения новых гарантий сходимости. ## Результаты Мы доказали, что SNGD имеет фаст-конвергенс-рейт в случае линейных моделей с квадратичными потерями. В частности, для стандартной задачи меньших квадратов с помощью Kaczmarz-метода получили примерной скорость сходимости. Наш исследовательский результат показал, что SNGD работает эффективно в задачах сильно вогнутых потерь. Мы также доказали, что SPRING может ускорять SNGD, и это является первым доказательством его ускоренного поведения. ## Значимость Наши результаты имеют значительное значение в области статистической физики и глубокого обучения. Мы показали, что SNGD может быть эффективно применен для оптимизации моделей в этих областях. Это позволяет получить простые и эффективные способы решать задачи параметрической оптимизации, в том числе в задачах физических моделей и нейронных сетей. ## Выводы Мы доказали новые гарантии сходимости для SNGD и SPRING в задачах сильно вогнутых потерь. Это демонстрирует значительный потенциал SNGD в параметрической оптимизации. Мы также отметили, что существуют теоретические ограничения на эффективность SNGD в широком классе задач. Будущие исследования будут сконцентрированы на расширении этих результатов к более общим моделям и задачам, а также на рассмотрении устойчивости SNGD в условиях дискретизации.```