Learning quadratic neural networks in high dimensions: SGD dynamics and scaling laws

## Контекст Обучение нейронных сетей в высокомерном пространстве представляет собой ключевую проблему в машинном обучении, так как этот подход позволяет решать задачи, требующие высокого уровня абстракции и сложности. Однако существуют значительные недостатки, связанные с точностью и скоростью обучения в высокомерном режиме, что приводит к высокому потреблению ресурсов и ограниченной эффективности моделей. Этот рабочий рынок сильно востребован широким кругом специалистов, включая ученых из области машинного обучения, аппликационных математиков и экономистов, которые испытывают сложности в обработке высокомерных данных. Мотивацией для этого исследования является необходимость развития более точных и эффективных методов обучения нейронных сетей в высокомерном режиме, чтобы улучшить процессы принятия решений и ускорить предсказания. ## Метод В работе предлагается методика, основанная на обучении квадратичных нейронных сетей в высокомерном пространстве с использованием градиентного спуска (SGD). Метод использует теорию матричных Riccati-уравнений и матричных монотонных аргументов для точного анализа динамики обучения. Эта модель рассматривается в режиме прекрасной ширины ("extensive-width regime"), когда число сигнальных направлений $r \asymp d^\beta$, где $d$ — размерность данных, а $\beta \in [0, 1)$. Для коэффициентов второго слоя $\lambda_j$ применяется сильно сгусточная модель, принимающая вид $j^{-\alpha}$, где $\alpha \geq 0$. Основные технические инструменты включают теорию многомерных дифференциальных уравнений и анализ конечных выборок для синтетических и реальных данных. ## Результаты Исследование демонстрирует, что SGD динамика обучения квадратичных нейронных сетей в высокомерном режиме обладает явными зависимостями от параметров $d$, $r$ и $\alpha$. Наблюдается появление спектральных характеристик, связанных с темпами увеличения модели и числа выборок, что позволяет описать существующие законы масштабирования (scaling laws). Для оценки полученных результатов использовался большой набор данных, включающий как синтетические, так и реальные данные. Эксперименты показали, что модель обладает высокой точностью и скоростью обучения в высокомерном пространстве, что существенно превосходит классические методы. ## Значимость Предложенный подход имеет широкие применения в различных областях, включая здравоохранение, финансы, анализ массовых данных и ИИ. Он обеспечивает более быстрое и точное обучение моделей, уменьшает потребление ресурсов и позволяет значительно улучшить качество предсказаний. Преимущества метода заключаются в увеличении точности, эффективности и потенциаль