📊 Статистика дайджестов

Всего дайджестов: 34022 Добавлено сегодня: 82

Последнее обновление: сегодня
Авторы:

Bogdan Butyrin, Eric Moulines, Alexey Naumov, Sergey Samsonov, Qi-Man Shao, Zhuo-Song Zhang

Саммари на русском не найдено
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Annotation:
In this paper, we refine the Berry-Esseen bounds for the multivariate normal approximation of Polyak-Ruppert averaged iterates arising from the linear stochastic approximation (LSA) algorithm with decreasing step size. We consider the normal approximation by the Gaussian distribution with covariance matrix predicted by the Polyak-Juditsky central limit theorem and establish the rate up to order $n^{-1/3}$ in convex distance, where $n$ is the number of samples used in the algorithm. We also prove...
ID: 2510.12375v1 stat.ML, cs.LG, math.OC, math.PR, math.ST, stat.TH, 60F05, 62L20, 62E20
Авторы:

Bogdan Butyrin, Artemy Rubtsov, Alexey Naumov, Vladimir Ulyanov, Sergey Samsonov

## Контекст Теория стохастических алгоритмов играет ключевую роль в многих областях, включая теорию управления, статистику, машинное обучение и искусственный интеллект. Одной из важных задач является изучение градиентных методов стохастической аппроксимации, которые используются для решения задач оптимизации в ситуациях, где доступ к функции оптимизации ограничен. Одним из таких методов является двухвариационный градиентный метод (Two-Timescale Stochastic Approximation, TTSA), который применяется в ситуациях, когда различные компоненты системы обновляются с разными скоростями. Несмотря на широкое применение TTSA, существуют недостатки в понимании ограничений и ошибок в нормальной аппроксимации, особенно в сложных сценариях с нелинейными моделями и мартингальным шумом. Наша цель — разработать более точные ограничения для нормальной аппроксимации TTSA в различных режимах работы. ## Метод Мы используем метод градиентной стохастической аппроксимации с двумя временными скейлами. Для того чтобы изучить нормальную аппроксимацию, мы разрабатываем теоретические ограничения для двух режимов работы: линейной аппроксимации последнего итерационного шага и Polyak-Ruppert averaging. Для этого мы применяем методы теории вероятности, в частности, теорию Липшица и мартингальные оценки. Основная техническая сложность заключается в том, что нужно учесть взаимодействие между быстрым и медленным временными скейлами. Для этого мы используем методы центральной предельной теоремы и методы скользящих средних для получения точных оценок. ## Результаты Мы демонстрируем, что нормальная аппроксимация TTSA работает лучше в режиме с большим разграничением между скоростями временных скейлов. Тем не менее, в режиме Polyak-Ruppert averaging нормальная аппроксимация хуже работает, когда разрыв между скоростями становится очень большим. Мы также получаем высокопорядковые моменты для ошибки алгоритма, которые могут быть полезны для дальнейшего изучения системы. Наши результаты основываются на теоретических расчетах, а также на экспериментальных исследованиях, в которых мы проверяли эффективность нашей теории на реальных данных. ## Значимость Наши работы имеют широкое применение в многих областях, включая машинное обучение, оптимизацию и искусственный интеллект. Мы показываем, что нормальная аппроксимация TTSA может быть эффективно применена в ситуациях, где необходимо оценить распределение решений, но при этом могут быть затруднения в получении точных аппроксимаций. Изучение данной темы может привести к новым возможностям в развитии сто
Annotation:
In this paper, we establish non-asymptotic bounds for accuracy of normal approximation for linear two-timescale stochastic approximation (TTSA) algorithms driven by martingale difference or Markov noise. Focusing on both the last iterate and Polyak-Ruppert averaging regimes, we derive bounds for normal approximation in terms of the convex distance between probability distributions. Our analysis reveals a non-trivial interaction between the fast and slow timescales: the normal approximation rate ...
ID: 2508.07928v1 stat.ML, cs.LG, math.OC, math.PR, math.ST, stat.TH, 60F05, 62L20