Gaussian Approximation for Two-Timescale Linear Stochastic Approximation

## Контекст Теория стохастических алгоритмов играет ключевую роль в многих областях, включая теорию управления, статистику, машинное обучение и искусственный интеллект. Одной из важных задач является изучение градиентных методов стохастической аппроксимации, которые используются для решения задач оптимизации в ситуациях, где доступ к функции оптимизации ограничен. Одним из таких методов является двухвариационный градиентный метод (Two-Timescale Stochastic Approximation, TTSA), который применяется в ситуациях, когда различные компоненты системы обновляются с разными скоростями. Несмотря на широкое применение TTSA, существуют недостатки в понимании ограничений и ошибок в нормальной аппроксимации, особенно в сложных сценариях с нелинейными моделями и мартингальным шумом. Наша цель — разработать более точные ограничения для нормальной аппроксимации TTSA в различных режимах работы. ## Метод Мы используем метод градиентной стохастической аппроксимации с двумя временными скейлами. Для того чтобы изучить нормальную аппроксимацию, мы разрабатываем теоретические ограничения для двух режимов работы: линейной аппроксимации последнего итерационного шага и Polyak-Ruppert averaging. Для этого мы применяем методы теории вероятности, в частности, теорию Липшица и мартингальные оценки. Основная техническая сложность заключается в том, что нужно учесть взаимодействие между быстрым и медленным временными скейлами. Для этого мы используем методы центральной предельной теоремы и методы скользящих средних для получения точных оценок. ## Результаты Мы демонстрируем, что нормальная аппроксимация TTSA работает лучше в режиме с большим разграничением между скоростями временных скейлов. Тем не менее, в режиме Polyak-Ruppert averaging нормальная аппроксимация хуже работает, когда разрыв между скоростями становится очень большим. Мы также получаем высокопорядковые моменты для ошибки алгоритма, которые могут быть полезны для дальнейшего изучения системы. Наши результаты основываются на теоретических расчетах, а также на экспериментальных исследованиях, в которых мы проверяли эффективность нашей теории на реальных данных. ## Значимость Наши работы имеют широкое применение в многих областях, включая машинное обучение, оптимизацию и искусственный интеллект. Мы показываем, что нормальная аппроксимация TTSA может быть эффективно применена в ситуациях, где необходимо оценить распределение решений, но при этом могут быть затруднения в получении точных аппроксимаций. Изучение данной темы может привести к новым возможностям в развитии сто