Fisher-Orthogonal Projection Methods for Natural Gradient Descent with Large Batches

#### Контекст Современные GPU-архитектуры позволяют обрабатывать большие объемы данных с высокой скоростью, благодаря этому возможно выполнять мини-батчи (mini-batch), содержащие десятки тысяч примеров. Однако большинство существующих методов оптимизации неэффективны при работе с таким объемом данных. Увеличение размера мини-батча снижает шум градиента, поскольку он среднее значение над многими примерами. Это ограничивает возможности первоORDER методов (например, SGD) для выхода из локальных минимумов и нахождения глобального минимума. В то же время, второORDER методы, такие как natural gradient с Kronecker-Factored Approximate Curvature (KFAC), требуют перегруппировки данных или добавления добавленных компонент, чтобы оставаться стабильными. Такая модификация приводит к потере кривизны (curvature), что приводит к упрощению метода до простого gradient descent. Таким образом, нет гибкого и эффективного подхода для того, чтобы использовать второORDER методы на больших мини-батчах. #### Метод Мы предлагаем **Fisher-Orthogonal Projection (FOP)**, метод, который позволяет восстановить эффективность второORDER методов в условиях больших мини-батчей. FOP использует два разных мини-батча для построения вектора обновления, который включает в себя вариацию градиента, ортогональную к среднему значению под эвклидовой метрикой. Эта компонента ортогональности позволяет улучшить точность направления обновления, повысить стабильность метода и повысить геометрическое представление локального пространства. Формально, FOP работает как следующий вектор: $$g_{\text{FOP}} = g_1 - \frac{g_1 \cdot g_2}{\|g_2\|^2} g_2$$ где $g_1$ и $g_2$ — градиенты из двух разных мини-батчей, а $\|\cdot\|^2$ — евклидово расстояние. Этот вектор гарантирует, что FOP остается эффективным на больших объемах данных, сохраняя кривизну и повышая устойчивость метода. #### Результаты Мы проводили эксперименты на нескольких задачах классификации (таких как CIFAR-10 и ImageNet) с разными размерами мини-батчей (от 256 до 32768 примеров). Мы сравнили FOP с существующими методами, включая SGD с Momentum, Adam и KFAC. Результаты показали, что FOP позволяет значительно повысить скорость сходимости, улучшить точность модели и увеличить общую generalization. В частности, при больших мини-батчах, FOP показал значительно вышу точность в сравнении с KFAC, который теряет эффективность из-за высокого уровня дампинга. Эксперименты также показали, что FOP может эффективно работать на разных типах данных и моделях, включая нейронные сети с большим количеством слоёв. #### Значимость Метод FOP расширяет возможности второORDER оптимизации для задач ма