Optimal Condition for Initialization Variance in Deep Neural Networks: An SGD Dynamics Perspective

## Контекст Машинное обучение (ML) широко используется в различных областях, от обработки естественного языка до анализа изображений. Одним из ключевых аспектов ML является эффективное обучение нейронных сетей (DNNs), которое зависит от правильного выбора параметров, таких как слои, нейроны, и их инициализация. Несмотря на то, что существуют множество методов инициализации (например, He-normal и Xavier), наличие четкого математического канона для выбора их параметров не очевидно. Эта проблема особенно важна для DNNs, где неправильная инициализация может привести к плохому обучению и неоптимальным результатам. Целью данного исследования является разработка математического подхода для оптимального выбора инициализационной дисперсии в SGD-динамике DNNs. ## Метод Мы приближаем SGD к непрерывному времени с использованием Fokker-Planck-аппроксимации. Это позволяет изучить динамику инициализационного распределения через Kullback-Leibler (KL)-дивергенцию. Используя данную динамику, мы вычисляем ожидаемую функцию потерь в зависимости от инициализационного распределения. Этот подход применяется к DNNs, и мы получаем выражение для ожидаемой потери в зависимости от параметра дисперсии инициализации. Затем, минимизируя это выражение, мы получаем оптимальное значение дисперсии инициализации в классическом случае нормального распределения. Этот подход предоставляет новый способ выбора дисперсии инициализации, основанный на математических выкладках, а не на гипотезах. ## Результаты Мы проводим эксперименты с использованием SGD для обучения DNNs на двух классических датасетах: MNIST и Fashion-MNIST. Мы сравниваем результаты с классическим методом инициализации He-normal. Наши результаты показывают, что если дисперсия инициализации соответствует нашему оптимальному условию, то DNN-модели достигают ниже показателей финальной потери и выше показателей тестовой точности по сравнению с He-normal. Это подтверждает, что наш метод оптимального условия инициализации дает значительные выгоды по сравнению с существующими методами. ## Значимость Результаты этого исследования могут быть применены в различных ML-приложениях, где необходимо оптимизировать инициализацию DNNs. Этот подход обеспечивает четкий математический канон для выбора дисперсии инициализации, что повышает надежность и эффективность обучения DNNs. Кроме того, наш подход может быть расширен для других типов DNNs и оптимизационных методов, что дает потенциальный повод для будущих исследований в этой области. ## Выводы Мы разработали математическую модель для выбора оптимальной дисперсии инициализации в SGD-динамике DNNs. Наши теоретические ре