Bregman Douglas-Rachford Splitting Method

2509.08739v1 math.OC, cs.LG, stat.ML 2025-09-12
Авторы:

Shiqian Ma, Lin Xiao, Renbo Zhao

Резюме на русском

## Контекст Максимально монотонное включение (MMI) широко применяется в задачах оптимизации с ограничениями. Однако найти его выпрямленную форму часто трудно или невозможно. Алгоритмы, работающие с MMI, должны обеспечивать эффективность, сходимость и универсальность. Однако существующие подходы, такие как метод Альтернативных Директив Множителей (ADMM), не всегда подходят для решения всех форм задач. Было предложено Bregman Douglas-Rachford Splitting (BDRS), который шире ADMM и эффективен для решения MMI. Этот подход является новым в литературе и может быть использован для решения задач оптимального транспорта (OT) на дискретных пространствах. ## Метод BDRS — это алгоритм, основанный на принципе Додсона, который ускоряет сходимость решения MMI за счет использования Bregman дистанции в качестве меры расстояния. Алгоритм состоит из двух этапов: шаг Douglas-Rachford и шаг Bregman. В шаге Douglas-Rachford используется проекция на подпространство, а в шаге Bregman — применяется регуляризация. В случае разрешимости MMI, BDRS гарантирует устойчивость и сходимость. Для решения дискретной OT-задачи, BDRS может быть применен к двойственной форме задачи, представленной в виде MMI. ## Результаты Исследователи провели эксперименты с данными, связанными с задачей оптимального транспорта на дискретных пространствах. Было показано, что BDRS и его вариант Bregman Peaceman-Rachford Splitting (BPRS) эффективно решают задачу, даже для сложных случаев. Для сравнения были проведены эксперименты с другими методами, такими как ADMM. Результаты показали, что BDRS обеспечивает более стабильную и быструю сходимость. Несмотря на это, требования к выполнению одного из предположений не применимы к задаче оптимального транспорта, что является ограничением. ## Значимость BDRS является универсальным способом решения максимально монотонных включений и может использоваться в различных областях, таких как машинное обучение, анализ данных и оптимальный транспорт. Особенно важно его применение в задачах оптимального транспорта на дискретных пространствах, где ADMM не всегда применим. Благодаря своей гибкости, BDRS может общий подход для решения MMI в различных задачах. ## Выводы BDRS является важной дальнейшей разработкой в области методов решения монотонных включений. Он показал значительную эффективность в решении дискретной задачи оптимального транспорта. Однако требование к одному из предположений, не применимо к этой задаче, является ограничением. В будущем стоит рассмотреть возможность уточнения условий сходимости для данного случая и расширение BDRS для решения других задач, где ADMM не применим.

Abstract

In this paper, we propose the Bregman Douglas-Rachford splitting (BDRS) method and its variant Bregman Peaceman-Rachford splitting method for solving maximal monotone inclusion problem. We show that BDRS is equivalent to a Bregman alternating direction method of multipliers (ADMM) when applied to the dual of the problem. A special case of the Bregman ADMM is an alternating direction version of the exponential multiplier method. To the best of our knowledge, algorithms proposed in this paper are new to the literature. We also discuss how to use our algorithms to solve the discrete optimal transport (OT) problem. We prove the convergence of the algorithms under certain assumptions, though we point out that one assumption does not apply to the OT problem.

Ссылки и действия