Repulsive Monte Carlo on the sphere for the sliced Wasserstein distance
2509.10166v1
stat.ML, cs.LG
2025-09-16
Авторы:
Vladimir Petrovic, Rémi Bardenet, Agnès Desolneux
Резюме на русском
#### Контекст
Оценка весов Монте-Карло методами на параллельных сферах широко применяется в машинном обучении, статистике и теории вероятностей. Однако, проблемами при работе с этими методами являются их высокая вариация и неэффективность в высоких измерениях. Одним из популярных методов для уменьшения вычислительной сложности является распределение точек на сфере, чтобы уменьшить взаимодействие между ними. Среди таких методов — **Repulsive Monte Carlo**, который использует отрицательно зависимые точки для уменьшения вариации. Также в статье рассматривается **Sliced Wasserstein distance (SW)**, мера расстояния между двумя распределениями на $\mathbb{R}^d$, которая широко используется в машинном обучении. Ранее развивались методы для эффективного вычисления SW, но в подавляющем большинстве случаев невзиралось на отрицательную зависимость точек. В этой статье мы рассматриваем Repulsive Monte Carlo на сфере для SW и показываем, что отрицательная зависимость может существенно улучшить качество вычислений.
#### Метод
Мы предлагаем Repulsive Monte Carlo, использующий отрицательно зависимые точки на сфере, для вычисления SW. Наша методология включает:
1. **Распределение точек на сфере** — мы используем **determinantal point processes (DPPs)**, которые обеспечивают отрицательную зависимость точек.
2. **Оценка UnifOrtho** — мы проанализировали независимый монотонный Monte Carlo-образный алгоритм UnifOrtho, который использует ортогональные разбиения на сфере. Для этого использовались теоретические результаты о том, как отрицательная зависимость уменьшает вариацию.
3. **Эксперименты** — мы провели эксперименты на разных размерах измерений с разным количеством точек. Мы сравнили Repulsive Monte Carlo с традиционными методами и оценками UnifOrtho.
#### Результаты
Мы проводили несколько экспериментов, используя различные меры SW, в том числе на высоких измерениях. Наши результаты показали, что:
- **Repulsive Monte Carlo** демонстрирует значительную уменьшение вариации по сравнению с традиционными методами.
- Высокоизмерных пространствах UnifOrtho показывает лучшую производительность по сравнению с другими методами.
- Отрицательная зависимость точек действительно уменьшает вариацию и улучшает точность вычислений.
- Были выявлены условия, при которых DPP-based quadratures показывают лучшую скорость сходимости.
#### Значимость
Предлагаемый подход может быть применен в различных областях, где используются весовые оценки на сфере, такие как:
- **Машинное обучение** — использование SW для решения задач кластеризации, метрических расстояний и распределений.
- **Теория вероятностей** — вычисление распределений на сфере, которые имеют приложения в теории диффузии и распределений данных.
- **Статисти
Abstract
In this paper, we consider the problem of computing the integral of a
function on the unit sphere, in any dimension, using Monte Carlo methods.
Although the methods we present are general, our guiding thread is the sliced
Wasserstein distance between two measures on $\mathbb{R}^d$, which is precisely
an integral on the $d$-dimensional sphere. The sliced Wasserstein distance (SW)
has gained momentum in machine learning either as a proxy to the less
computationally tractable Wasserstein distance, or as a distance in its own
right, due in particular to its built-in alleviation of the curse of
dimensionality. There has been recent numerical benchmarks of quadratures for
the sliced Wasserstein, and our viewpoint differs in that we concentrate on
quadratures where the nodes are repulsive, i.e. negatively dependent. Indeed,
negative dependence can bring variance reduction when the quadrature is adapted
to the integration task. Our first contribution is to extract and motivate
quadratures from the recent literature on determinantal point processes (DPPs)
and repelled point processes, as well as repulsive quadratures from the
literature specific to the sliced Wasserstein distance. We then numerically
benchmark these quadratures. Moreover, we analyze the variance of the UnifOrtho
estimator, an orthogonal Monte Carlo estimator. Our analysis sheds light on
UnifOrtho's success for the estimation of the sliced Wasserstein in large
dimensions, as well as counterexamples from the literature. Our final
recommendation for the computation of the sliced Wasserstein distance is to use
randomized quasi-Monte Carlo in low dimensions and \emph{UnifOrtho} in large
dimensions. DPP-based quadratures only shine when quasi-Monte Carlo also does,
while repelled quadratures show moderate variance reduction in general, but
more theoretical effort is needed to make them robust.
Ссылки и действия
Дополнительные ресурсы: