Stochastic Gradient Descent with Strategic Querying

## Контекст Проблема оптимизации, особенно в случае задач с большим количеством переменных, широко распространена в машинном обучении и других областях. Одним из ключевых аспектов этих задач является выбор стратегии сбора градиентов в ходе оптимизации. Для многих методов, таких как SGD (Stochastic Gradient Descent), выбор градиентов, на которые ориентируются алгоритмы, может значительно сказываться на эффективности работы алгоритма. Однако существуют ситуации, когда стратегически выбирать градиенты может привести к существенному повышению производительности в сравнении с простой, например, униформной стратегией. Мотивируя подобный подход и исследуя его возможности, авторы приходят к разработке и анализу различных стратегий оптимизации. ## Метод Авторы рассматривают задачу оптимизации функции, заданной как сумма независимых случайных функций, и исследуют различные стратегии по выбору градиентов для оценки направления уменьшения функционала. Одним из алгоритмов, предложенных в работе, является Oracle Gradient Querying (OGQ), который представляет собой идеальную модель, где выбирается градиент, обеспечивающий максимально вероятный прогресс на каждом шаге. Однако, так как в реальной жизни доступ к градиентам всех пользователей (например, в распределенном сценарии) недоступен, авторы предлагают алгоритм Strategic Gradient Querying (SGQ), который делает один градиентный вызов на каждой итерации и показывает лучшую производительность в сравнении с простой стратегией. ## Результаты Авторы проводят эксперименты с различными функционалами, в том числе такими, что удовлетворяют свойству Polyak-Lojasiewicz, чтобы оценить производительность различных стратегий. Они показывают, что Oracle Gradient Querying не только улучшает производительность в начале оптимизации, но и снижает дисперсию в последней стадии. Тем не менее, его использование требует доступа к градиентам всех пользователей, что не практично. Алгоритм Strategic Gradient Querying, в свою очередь, показывает лучшую производительность в сравнении со стандартным SGD в ходе одной итерации. ## Значимость Результаты этой работы могут быть применимы в различных областях, где высокая эффективность оптимизации критична. Например, в машинном обучении или распределенных системах, где выбор градиентов может существенно влиять на общую эффективность. Особенно полезными являются стратегии, предлагаемые в данной работе, так как они не только улучшают периоды первоначального улучшения, но и снижают дисперсию в конце оптимизации. ## Выводы Авторы показали, что стратегический выбор градиентов может значительно повысить эфф