Asynchronous Gossip Algorithms for Rank-Based Statistical Methods
2509.07543v2
stat.ML, cs.LG
2025-09-12
Авторы:
Anna Van Elst, Igor Colin, Stephan Clémençon
Резюме на русском
## Контекст
Одним из ключевых вопросов, связанных с развитием децентрализованных систем AI и edge intelligence, является обеспечение их надежности и устойчивости в условиях распределенных вычислений, особенно при наличии поврежденных или адверсарных данных. Обычные децентрализованные алгоритмы чувствительны к сбоям и контamination данных, т.к. они обычно оперируют простыми статистическими показателями, такими как среднее или сумма. Из-за этого в последнее время возникла необходимость развития более надежных методов, ориентированных на работу в таких условиях. В связи с этим, в последнее время активно исследуются распределенные алгоритмы, основывающиеся на вычислении рангов и других отказоустойчивых статистических методов. Наша работа следует этой тенденции, призванной развить асинхронные алгоритмы для вычисления различных rank-based statistics, включая L-statistics и Wilcoxon rank-sum tests.
## Метод
Мы разработали асинхронный gossip-алгоритм для вычисления большого класса rank-based statistics, включая L-statistics и rank-based statistics, которые известны своей устойчивостью к выбросам. Наша методология основывается на распределенном вычислении, где узлы обмениваются своими значениями в течение нескольких шагов. Для расчета rank-based statistics применяется асинхронная модель, где каждый узел вычисляет свои значения независимо от других узлов, используя локальные данные и общий обмен информацией. Мы также применяем нашу модель к решению задачи дистрибьюционного теста гипотез, в том числе Wilcoxon rank-sum test, что является первым применением такого подхода в этой области. Мы доказали теоретическую устойчивость нашего алгоритма и оценили его скорость сойдения к точному решению.
## Результаты
Мы провели эксперименты на различных топологиях сетей, включая звездообразные и циркулярные структуры, и сравнили наш алгоритм с существующими алгоритмами. Наши результаты показали, что асинхронный gossip-алгоритм вы mostrado, что асинхронный gossip-алгоритм показывает лучшую точность и устойчивость в сравнении с другими подходами, особенно в условиях разрушенных данных. Мы также подтвердили теоретические результаты, полученные в ходе экспериментов, что демонстрирует эффективность нашего подхода в распределенных системах.
## Значимость
Наш подход может быть применён в различных областях, где требуется отказоустойчивость и надежность в распределенных вычислениях, например, в Интернете вещей (IoT), децентрализованных системах AI, и медицине. Наши методы позволяют повысить надежность распределенных систем, уменьшив влияние поврежденных данных. Благодаря их устойчивости к выбросам и высокой точности, они могут быть использованы в широком кругу приложений, таки
Abstract
As decentralized AI and edge intelligence become increasingly prevalent,
ensuring robustness and trustworthiness in such distributed settings has become
a critical issue-especially in the presence of corrupted or adversarial data.
Traditional decentralized algorithms are vulnerable to data contamination as
they typically rely on simple statistics (e.g., means or sum), motivating the
need for more robust statistics. In line with recent work on decentralized
estimation of trimmed means and ranks, we develop gossip algorithms for
computing a broad class of rank-based statistics, including L-statistics and
rank statistics-both known for their robustness to outliers. We apply our
method to perform robust distributed two-sample hypothesis testing, introducing
the first gossip algorithm for Wilcoxon rank-sum tests. We provide rigorous
convergence guarantees, including the first convergence rate bound for
asynchronous gossip-based rank estimation. We empirically validate our
theoretical results through experiments on diverse network topologies.
Ссылки и действия
Дополнительные ресурсы: