Online Convex Optimization with Heavy Tails: Old Algorithms, New Regrets, and Applications

## Контекст Онлайн-конвексное оптимизационное построение (Online Convex Optimization, OCO) широко применяется в машинном обучении, экономике, физике и других областях. Основная задача в OCO — минимизировать функцию, которая постепенно открывается в ходе онлайн-интеракций. Если стохастический градиент имеет ограниченную дисперсию, существуют многочисленные алгоритмы, которые гарантируют оптимальный регрет в случае бесконечных вычислений. Однако, если стохастический градиент имеет тяжелую хвостовую характеристику (heavy tail), то существуют лимитированные результаты. Это может происходить при ограниченном $\mathsf{p}$-м центральном моменте, где $\mathsf{p} \in (1,2]$. Этот феномен встречается в реальных задачах, например, в обработке выборок с высокой дисперсией или распределениями с некоторыми выбросами. Мотивируясь этим, данная работа исследует старые алгоритмы OCO в таком подходе, не требуя модификаций, и рассматривает его на примерах. ## Метод Для изучения OCO в условиях тяжелого хвоста основной методологией является новая аналитическая модель, которая рассматривает старые методы (например, Online Gradient Descent) в новом свете. Главная идея заключается в том, что не требуется переработка этих методов, а достаточно использовать ограниченную доступную информацию о характере шума в градиентах. Для этих целей используется ансамбль техник, которые развивались в теории конвексных задач. Результаты достигаются без изменения самих алгоритмов, а дополнительные средства, такие как градиентный клиппинг, не требуются. Изучается оптимальность новых регретных показателей, которые достигаются в стандартном границе вариантов. ## Результаты В ходе выполнения экспериментов показано, что классические методы OCO, такие как Online Gradient Descent, могут эффективно работать в условиях тяжелого хвоста. Это достигается без модификаций, только с использованием документированных методов. Для разных значений $\mathsf{p}$ получены регреты, которые являются оптимальными во всех параметрах. Эти результаты подтверждают, что OCO с тяжелым хвостом может быть успешно решаем без дополнительных процедур, таких как градиентный клиппинг. На практике, эти результаты могут применяться в задачах, где градиенты имеют высокую дисперсию или отклонения, например, в проблемах обучения с учителем, где данные могут иметь выбросы. ## Значимость Алгоритмы, рассмотренные в работе, могут применяться в различных областях, таких как машинное обучение, анализ данных и финансы. В частности, полученные результаты могут применяться в задачах обучения с учителем при высокой дис