Global Convergence Analysis of Vanilla Gradient Descent for Asymmetric Matrix Completion

#### Контекст Асимметричное понижение ранга у матриц широко применяется в различных областях, таких как глубокое обучение, зеркальное упрощение моделей и обработка текстовых данных. Однако решение этой задачи часто связано с техническими сложностями, включая нелинейность и негладкость функционала. Основная проблема заключается в том, что многие методы требуют дополнительных регуляризационных условий для гарантии сходимости, что усложняет их использование в реальных задачах. Мотивация заключается в найти универсальный подход, который не требует дополнительных регуляризации, но при этом поддерживает высокую точность и скорость сходимости. #### Метод Мы рассматриваем асимметричное понижение ранга матрицы как нелинейное неконвексное задание с объективной функцией, основанной на минимизации квадратичной ошибки. Для решения используется метод градиентного спуска (gradient descent). Отличительная черта нашего подхода заключается в том, что мы убираем регуляризационные условия, которые применялись ранее, и используем новую технику leave-one-out для проверки сходимости. Метод градиентного спуска инициализируется с помощью алгоритма спектральной инициализации. Такой подход позволяет доказать линейную сходимость с высокой вероятностью и продемонстрировать, что регуляризационный терм имеет небольшую норму во время итераций, что указывает на наличие неявной регуляризации. #### Результаты Мы проводили эксперименты на различных выборках данных, включая синтетические и реальные. Наши результаты показали, что метод градиентного спуска, описанный в нашей работе, демонстрирует высокую точность и сходимость при меньшем количестве итераций по сравнению с другими алгоритмами. Мы также проверили, что регуляризационный терм имеет небольшую норму во время сходимости, что отражает неявное регуляризующее воздействие метода градиентного спуска. Это позволяет уменьшить вычислительные затраты без потери точности. #### Значимость Наш подход может быть применен в различных областях, где требуется решение асимметричных задач понижения ранга, такие как данные в глубоком обучении, компрессия данных и моделирование зеркальных структур. Одним из основных преимуществ является снижение вычислительных затрат без потери точности. Это делает алгоритм более эффективным и привлекательным для реального применения. Такие результаты могут иметь влияние на развитие методов машинного обучения, в частности, в задачах, требующих сжатия данных и высокой производительности. #### Выводы Мы успешно доказали, что метод градиентного спуска с помощью спектральной инициализации достигает линейной сходимост