Decentralized Optimization with Topology-Independent Communication

## Контекст Распределенное оптимизационное моделирование широко применяется в области машинного обучения, сетевого взаимодействия и других аналогичных задачах. Однако существующие методы синхронизации часто оказываются неэффективными, особенно при многопроцессорной конфигурации. Наличие $n$ узлов, которые должны совместно решать задачу, может привести к невысокой скорости вычислений из-за необходимости полной синхронизации всех узлов. Это приводит к проблеме неоптимальности в ситуациях, когда узлы необходимо периодически обмениваться данными. Более того, многие существующие методы требуют, чтобы каждый узел оперировал всеми $m$ связями с другими узлами, что неэффективно в случае большого числа узлов. Таким образом, наличие структурной эффективности в методах синхронизации — это ключевая проблема, которую исследователи стараются решить. ## Метод Предлагаемый подход представляет собой новую методологию, основанную на рандомизации локальных операций для оптимизации. Основная идея заключается в том, что каждый узел выбирает одну задачу из $m$ возможных для решения, используя процедуру случайного выбора. Таким образом, каждый узел обменивается данными только с узлами, которые имеют схожие задачи. Это позволяет уменьшить число обменов сообщений между узлами. Более того, если для каждого узла выбрана задача из $S_j$, то взаимодействие происходит только с узлами, имеющими схожие задачи. Это позволяет моделировать такие ситуации, когда каждая задача зависит только от небольшого подмножества узлов. Этот подход может быть использован в ситуациях, когда регуляризаторы имеют граф-связанную структуру, и количество узлов в каждом регуляризаторе составляет два. Это уменьшает число обменов сообщений до минимального значения — только два сообщения на одну итерацию. ## Результаты На основании теоретических рассуждений и экспериментов показано, что данный подход эффективен как с точки зрения скорости вычислений, так и с точки зрения эффективности связи. Наборы данных, использованные в экспериментах, включали как синтетические, так и реальные данные. Таким образом, разработанный метод доказан как эффективный для различных задач, включая задачи синхронизации и оптимизации. Особенно он продемонстрировал высокую эффективность в ситуациях, когда количество узлов в системе достаточно велико, что позволяет получить результаты за меньшее количество итераций с меньшим количеством обмена сообщениями между узлами. ## Значимость Результаты этого исследования имеют большую значимость в области распределенных вычислений и