Order Optimal Regret Bounds for Sharpe Ratio Optimization in the Bandit Setting

## Контекст Оптимизация угадывания в стратегиях работы со стохастическими бандитами является ключевым вопросом в машинном обучении и оптимальной динамике. Ограниченные ресурсы и неопределенность в данных заставляют исследователей стремиться к максимальной эффективности при принятии решений в условиях неопределенности. Шарпе-коэффициент (Sharpe Ratio, SR) широко используется для оценки отношения между риском и вознаграждением в финансовых приложениях. Однако многие существующие алгоритмы не рассматривают риск в терминах SR, что может привести к недостаточной эффективности в реальных ситуациях. Необходимость разработки методов, которые учитывают риск в своих решениях, мотивирует эту работу. ## Метод Работа предлагает расширенный алгоритм для задачи оптимизации SR в стохастическом бандитном режиме. Алгоритм \texttt{SRTS} основывается на методе Томасона, известном за эффективность исследований и сбалансированность между эксплорэксплуатацией. Основные технические новинки: информационное разложение риска и связанных регретных функций, а также применение теории стохастической оптимальности для доказательства границы регрета. Архитектура алгоритма включает этапы сбора информации, корреляционной оценки риска и выбора стратегии на основе шарпе-коэффициента. ## Результаты Исследования проводились на симуляционных данных с различными характеристиками риска и вознаграждений. Эксперименты показали, что \texttt{SRTS} показывает значительное превосходство по регретной границе по сравнению с другими методами. Особое внимание уделено сравнению \texttt{SRTS} с традиционным методом Томасона. Данные показывают, что алгоритм \texttt{SRTS} достигает логарифмического регрета с зависимостью от конкретных характеристик распределения вознаграждений, что отражает действительную сложность оценки риска. ## Значимость Полученные результаты имеют широкое применение в финансовых приложениях, таких как адаптивные инвестиционные стратегии, нейрофинансы и динамическое управление портфелями. Алгоритм \texttt{SRTS} предоставляет новый подход к балансировке высокой средней прибыли и ограничению риска. Его потенциал в применении к реальному времени, например в машинном обучении для финансовых приложений, является перспективным и потенциально влиянительным. Этот результат может повлиять на развитие новых стратегий в управлении рисками в финансовых системах. ## Выводы Результаты работы показывают, что \texttt{SRTS} достигает логарифмического регрета в стохастическом бандитном режиме при оптими