Bregman Douglas-Rachford Splitting Method
2509.08739v1
math.OC, cs.LG, stat.ML
2025-09-12
Авторы:
Shiqian Ma, Lin Xiao, Renbo Zhao
Резюме на русском
## Контекст
Максимально монотонное включение (MMI) широко применяется в задачах оптимизации с ограничениями. Однако найти его выпрямленную форму часто трудно или невозможно. Алгоритмы, работающие с MMI, должны обеспечивать эффективность, сходимость и универсальность. Однако существующие подходы, такие как метод Альтернативных Директив Множителей (ADMM), не всегда подходят для решения всех форм задач. Было предложено Bregman Douglas-Rachford Splitting (BDRS), который шире ADMM и эффективен для решения MMI. Этот подход является новым в литературе и может быть использован для решения задач оптимального транспорта (OT) на дискретных пространствах.
## Метод
BDRS — это алгоритм, основанный на принципе Додсона, который ускоряет сходимость решения MMI за счет использования Bregman дистанции в качестве меры расстояния. Алгоритм состоит из двух этапов: шаг Douglas-Rachford и шаг Bregman. В шаге Douglas-Rachford используется проекция на подпространство, а в шаге Bregman — применяется регуляризация. В случае разрешимости MMI, BDRS гарантирует устойчивость и сходимость. Для решения дискретной OT-задачи, BDRS может быть применен к двойственной форме задачи, представленной в виде MMI.
## Результаты
Исследователи провели эксперименты с данными, связанными с задачей оптимального транспорта на дискретных пространствах. Было показано, что BDRS и его вариант Bregman Peaceman-Rachford Splitting (BPRS) эффективно решают задачу, даже для сложных случаев. Для сравнения были проведены эксперименты с другими методами, такими как ADMM. Результаты показали, что BDRS обеспечивает более стабильную и быструю сходимость. Несмотря на это, требования к выполнению одного из предположений не применимы к задаче оптимального транспорта, что является ограничением.
## Значимость
BDRS является универсальным способом решения максимально монотонных включений и может использоваться в различных областях, таких как машинное обучение, анализ данных и оптимальный транспорт. Особенно важно его применение в задачах оптимального транспорта на дискретных пространствах, где ADMM не всегда применим. Благодаря своей гибкости, BDRS может общий подход для решения MMI в различных задачах.
## Выводы
BDRS является важной дальнейшей разработкой в области методов решения монотонных включений. Он показал значительную эффективность в решении дискретной задачи оптимального транспорта. Однако требование к одному из предположений, не применимо к этой задаче, является ограничением. В будущем стоит рассмотреть возможность уточнения условий сходимости для данного случая и расширение BDRS для решения других задач, где ADMM не применим.
Abstract
In this paper, we propose the Bregman Douglas-Rachford splitting (BDRS)
method and its variant Bregman Peaceman-Rachford splitting method for solving
maximal monotone inclusion problem. We show that BDRS is equivalent to a
Bregman alternating direction method of multipliers (ADMM) when applied to the
dual of the problem. A special case of the Bregman ADMM is an alternating
direction version of the exponential multiplier method. To the best of our
knowledge, algorithms proposed in this paper are new to the literature. We also
discuss how to use our algorithms to solve the discrete optimal transport (OT)
problem. We prove the convergence of the algorithms under certain assumptions,
though we point out that one assumption does not apply to the OT problem.