Enhancing Optimizer Stability: Momentum Adaptation of The NGN Step-size

## Контекст Modern optimization algorithms, включая моментный и адаптивный шаг, показывают выдающиеся результаты в решении сложных задач диплорнга. Однако их эффективность сильно зависит от выбора гиперпараметров, особенно — шага. Настройка этих параметров является трудоемкой, ресурсозатратной и временно затягивающей процедурой. Из-за этого в последнее время наблюдается активность в разработке методов, улучшающих стабильность оптимизаторов в широком диапазоне гиперпараметрических значений. ## Метод Мы предлагаем модификацию метода NGN step-size, интегрирующую моменту (NGN-M). Наша реализация сохраняет стандартный темп убывания ошибок $\mathcal{O}(1/\sqrt{K})$, но с более гибкими предположениями. Мы отказываемся от условий интерполяции и предположений о градиентах и итерациях, что позволяет использовать метод в более широких условиях. Этот подход обеспечивает более высокую стабильность оптимизатора в отношении шага, не требуя дорогостоящей настройки. ## Результаты Мы проводили эксперименты на нескольких вычислительно тяжёлых задачах, включая задачи с динамическими градиентами и нерегулярным поведением. Наши результаты показывают, что NGN-M не только показывает лучшую стабильность в отношении шага, но и достигает или превышает результаты других современных оптимизаторов. Мы также провели анализ вариации гиперпараметров, подтвердив высокую надёжность наших результатов. ## Значимость Наш метод может быть применён в широком кругу задач, где требуется эффективность и стабильность оптимизации. Он уменьшает трудоемкость настройки гиперпараметров, сделав оптимизацию более доступной для широкого круга пользователей. Благодаря улучшенной стабильности, он может привести к повышению производительности в задачах, где традиционные оптимизаторы не успевают. ## Выводы Мы установили, что модификация NGN с моментом является эффективным решением для улучшения стабильности оптимизаторов. Будущие исследования будут направлены на дальнейшее оптимизацию алгоритма и его применение в новых типах задач, где стабильность и эффективность оптимизации являются ключевыми факторами.