📊 Статистика дайджестов

Всего дайджестов: 34022 Добавлено сегодня: 82

Последнее обновление: сегодня
Авторы:

Mateo Díaz, Liwei Jiang, Abdel Ghani Labassi

## Контекст Composite optimization problems широко используются в машинном обучении, сигнальном процессинге и других областях, где необходимо решать задачи минимизации сложных функций. Одной из таких задач является проблема, когда целевая функция представляет собой композитую форму, то есть результат умножения одной части на другую. Обычно, в таких задачах, одна часть является гладкой, а другая — конкретной конструкцией, зависящей от задачи. Например, задачи типа phase retrieval, blind deconvolution и collaborative filtering могут быть описаны как composite optimization problems. Однако, существуют ситуации, когда одна часть, например, smooth map, является плохо определенной (overparameterized), что приводит к медленному выполнению субградиентного метода. Этот вопрос требует разработки новых методов, которые бы ускоряли решение таких задач. ## Метод Мы предлагаем дополнительное условие для субградиентного метода, названное Levenberg-Morrison-Marquardt subgradient method. Этот метод предполагает добавление матричного умножения к субградиентному методу, чтобы устранить проблему плохой конструкции smooth map. Именно этот матричный множитель позволяет находить локальную линейную сходимость в случае, когда предыдущий субградиентный метод оказывался медленным. Метод модифицируется таким образом, чтобы он зависел не от конструкции smooth map, но только от свойств конкретного convex function. Это уменьшает требования к модели и ускоряет решение проблемы. ## Результаты Мы провести эксперимент с использованием набора данных, включающий различные задачи composite optimization. Например, мы изучили square-variable formulations, matrix sensing, и tensor factorization. Результаты показали, что применение Levenberg-Morrison-Marquardt subgradient method приводит к значительному ускорению сходимости и повышению точности решения в сравнении с традиционным субградиентным методом. Эти результаты были подтверждены для различных условий, включая плохую конструкцию smooth map. ## Значимость Предлагаемый метод может быть применен в различных областях, где используются composite optimization problems, включая phase retrieval, blind deconvolution и collaborative filtering. Он предоставляет значительные выгоды в скорости сходимости и точности решения в сравнении с традиционными методами. Это позволяет эффективнее решать сложные задачи в data science и signal processing, где требуется высокая скорость и точность. ## Выводы Мы предложили новый Levenberg-Morrison-Marquardt subgradient method, который решает проблемы сходимости при работе с overparameterized smooth map в composite optimization problems. Этот метод позволяет получить локальную линейную сходимость в случаях, когда предыдущие методы были медленны. Мы продемонстрировали эффективность нашего подхода на различных прикладных задачах, таких как square-variable formulations, matrix sensing, и tensor factorization. Будущие исследования будут направлены на расширение этого метода для более сложных задач и его исполь
Annotation:
Composite optimization problems involve minimizing the composition of a smooth map with a convex function. Such objectives arise in numerous data science and signal processing applications, including phase retrieval, blind deconvolution, and collaborative filtering. The subgradient method achieves local linear convergence when the composite loss is well-conditioned. However, if the smooth map is, in a certain sense, ill-conditioned or overparameterized, the subgradient method exhibits much slowe...
ID: 2509.11486v1 math.OC, cs.LG, stat.ML, 65K05, 65K10, 90C30, 90C06, 68U15