Adaptive Algorithms with Sharp Convergence Rates for Stochastic Hierarchical Optimization

## Контекст Hierarchical optimization является важной областью в математической оптимизации, которая включает задачи с интер dependedными решаемыми переменными и целями. Например, в ней входят формализмы минимакса и билайвена. Несмотря на то, что существуют различные методы решения таких задач, их анализ и применение в стокастических оптимизационных ситуациях остаются недостаточно адаптивными. Наиболее близкие методы не могут достичь оптимальных скоростей сходимости в широком диапазоне уровней шума градиента без предварительного знания точного уровня этого шума. Наша мотивация заключается в разработке адаптивных методов, которые могут автоматически адаптироваться к разным уровням шума градиента, не требуя предварительных оценок. ## Метод Мы предлагаем два адаптивных алгоритма для решения двух классов задач стокастической гиерархической оптимизации: неконвексно-сильно-конковых задач минимакса и неконвексно-сильно-конвексных задач билайвена. Методы основываются на новых техниках, таких как нормализация моментов и адаптивные параметры. Они достигают оптимальных скоростей сходимости $\widetilde{O}(1/\sqrt{T} + \sqrt{\bar{\sigma}}/T^{1/4})$ за $T$ итераций, где $\bar{\sigma}$ обозначает верхнюю границу шума в градиентах. Эти алгоритмы автоматически адаптируются к разным уровням шума без дополнительных параметров или предварительных условий, обеспечивая эффективность в обоих низко- и высоковолновых режимах шума. Технические решения включают инновационные подходы к моделированию и адаптивному выбору параметров. ## Результаты Мы провели эксперименты на синтетических данных и задачах дигтального обучения. Наши результаты показали, что алгоритмы достигают желаемой скорости сходимости в $T$ итераций, а также демонстрируют хорошую эффективность в практических задачах. Общие результаты показывают, что наши методы эффективны в сравнении с существующими, а также могут автоматически адаптироваться к широкому диапазону уровней шума. Эксперименты подтвердили высокую эффективность и универсальность наших подходов. ## Значимость Наш процесс имеет многочисленные приложения в математической оптимизации, глубокому обучению и других областях, где используются задачи минимакса и билайвена. Наши результаты могут повлиять на разработку более эффективных методов решения интердепенентных задач, что может быть ключевым для развития моделей в стокастических средах. Особый потенциал открывается в применении к глубокому обучению, где намеренные шумы в градиентах являются типичными. ## Вы