Provable Generalization in Overparameterized Neural Nets

#### Контекст В последние годы стали популярны модели глубокого обучения, которые обладают значительным перевесом в параметрах по сравнению с размером обучающихся данных. Несмотря на это, эти модели демонстрируют выдающиеся результаты в задачах общего языкового понимания. Традиционные меры сложности, такие как VC-размер или оценки PAC-Bayes, часто оказываются нерелевантными в таком "overparameterized" режиме. Это отступление представляет собой значительную проблему: классические подходы не могут объяснить успех таких моделей. Моя работа стремится развить альтернативный подход к изучению этой проблемы, основываясь на понятии "эффективного размера" в моделях с автопредсказанием. Я предлагаю использовать ранг входного вектора в качестве новой меры сложности, которая может учитывать спектральные свойства моделей, а не просто их размер. #### Метод Мой подход основывается на анализе спектра входного вектора в модели attention-based. Я разработал метод, позволяющий оценивать эффективный ранг attention-матриц, который отражает "функциональный размер" модели. Эта мера отличается от традиционных, так как не определяется по количеству параметров, а строится на основе спектральной структуры входных данных. Основным элементом анализа является вычисление нормы второго градиента, который позволяет проверить эффективность новой меры. Я также рассматриваю архитектуру модели, в которой attention-матрицы являются центральным элементом, и использую методы спектрального анализа для подтверждения моего подхода. #### Результаты Я провел эксперименты на широко известных данных, включая наборы для обучения языковых моделей. Мои результаты показали, что эффективный ранг attention-матриц соотносится с тем, как модели обучаются и как они масштабируются с ростом размера обучающихся данных. Например, в модели Transformer я обнаружил, что эффективный ранг приближается к логарифму размера обучающих данных, что хорошо соответствует реальным эмпирическим законам генерализации. Эти результаты подтверждают, что ранг входного вектора может быть лучшим индикатором генерализации, чем сам размер модели. #### Значимость Результаты моего исследования имеют потенциал для развития теоретических основ обучения моделей с большим числом параметров. Они подтверждают, что не только параметры, но и спектральные свойства моделей играют ключевую роль в генерализации. Это может иметь значительные последствия для разработки более эффективных моделей, которые могут обучаться быстрее и лучше адаптироваться к новым данным. Мои находки также открывают пути для дальнейшего исследования