Online Optimization on Hadamard Manifolds: Curvature Independent Regret Bounds on Horospherically Convex Objectives

## Контекст Оптимизация на Римановых многообразиях является важной областью исследований в математической статистике, теории игр и машинного обучения. Традиционные подходы основываются на геодезической конвексиой (g-convexity), которая подвержена ограничениям, связанным с кривизной многообразия. Это приводит к неэффективным регретным гарантиям в случаях крутых многообразий. В отличие от этого, хросферическая конвексия (h-convexity) предлагает перспективы для более эффективного оптимизационного подхода. Многообразия, такие как множество симметрично-положительно-определительных (SPD) матриц, широко применяются в данных областях, но для них недостаточно эффективных методов оптимизации. Мотивация работы заключается в развитии кривизна-независимых методов оптимизации на таких многообразиях, чтобы сузить разрыв между теоретическими гарантиями и практическими задачами. ## Метод Мы рассматриваем онлайн-оптимизацию на Римановых многообразиях под фрейворком хросферической конвексии. Для оценки х-конвексных и сильно х-конвексных функций вводится Riemannian online gradient descent (ROGD). Архитектура ROGD включает в себя адаптивные шаги оптимизации, ориентированные на минимизацию регрета в течение времени. Мы используем методы геодерики и спектральной анализа для аппроксимации локальных кривизн и вычисления градиентов. Основные гипотезы основываются на х-конвексионных свойствах функций и линейных регрессионных выводах. Эти теоретические инструменты позволяют доказать гарантии регрета, которые не зависят от кривизны многообразия. ## Результаты Мы проводим эксперименты с SPD-матрицами, используя аффинно-инвариантное метрическое пространство. Для оценки эффективности ROGD мы исследуем два задачи: онлайн-Тайлеров $M$-оценка и онлайн-компьютер долговременных Фрешетовых средних. Результаты показывают, что ROGD эффективно решает задачи с использованием х-конвексии, достигая $O(\sqrt{T})$ и $O(\log(T))$ регретных гарантий в случаях х-конвексных и сильно х-конвексных функций. Эти гарантии отсутствуют в традиционных подходах, основанных на g-convexity, и подтверждают преимущества х-конвексии в практических задачах. ## Значимость Наш подход имеет широкие применения в машинном обучении, теории игр, анализе данных на SPD-матрицах и других Римановых многообразиях. Он предоставляет более точные и эффективные инструменты для решения оптимизационных задач в крутых многообразиях. Главные преимущества заключаются в кривизна-независи