CoCoL: A Communication Efficient Decentralized Collaborative Method for Multi-Robot Systems

#################################################### ## Контекст #################################################### **Контекст** Коллективное обучение (Collaborative Learning) является ключевым подходом для улучшения производительности и адаптивности многоробочных систем в решении сложных задач. Однако оно сталкивается с значительными затруднениями, связанными с высокой нагрузкой на связь (communication overhead) и сложностями, возникающими из-за неоднородности данных (data heterogeneity), обусловленной разнообразием задач и окружающими условиями. Эти проблемы становятся особенно актуальными в средах, где роботы должны ориентироваться в реальном времени, адаптироваться к изменениям и обрабатывать неидентичные данные (non-IID data). В настоящей работе предлагается CoCoL (Communication Efficient Decentralized Collaborative Learning) — метод, специально разработанный для многоробочных систем, где участники обучаются на неоднородных локальных данных. CoCoL рассчитан на минимизацию объема связи и вычислительных затрат, чтобы обеспечить высокую эффективность и точность в таких сложных условиях. #################################################### ## Метод #################################################### **Метод** CoCoL основывается на рамках Мира (Mirror Descent), которая позволяет организовать эффективные обновления с приближенным новыон-типом (approximate Newton-type updates). Данный подход позволяет значительно сократить нагрузку на связь, так как эти обновления учитывают семантическую схожесть между локальными функционалами задач. Для того, чтобы уменьшить вычислительные затраты, CoCoL применяет методы решения опорного суб-задачи с неточностью (inexact sub-problem solutions). Кроме того, в CoCoL внедрена схема отслеживания градиентов (gradient tracking), которая повышает устойчивость метода к неоднородности данных и позволяет роботам координировать свои решения в условиях варьирующейся топологии сети (time-varying network topologies). Это делает CoCoL легко адаптируемым к различным сложностям, таким как неидентичность данных (non-IID), потоковые данные (streaming data) и динамические сетевые структуры. #################################################### ## Результаты #################################################### **Результаты** Исследования проводились на трех представительных задачах многоробочного коллективного обучения. Эксперименты показали, что CoCoL значительно уменьшает число требуемых сетевых раундов и объем потребляемой пропускной способности (bandwidth) по сравнению с текущими методами. Это достигается без потери точности, которая соответствует состоянию техники (state-of-the-art accuracy). В частности, на задаче неидентичных данных (non-IID), где роботы обучаются на различных подвыборках, CoCoL показал существенный выигрыш в скорости обучения и уменьшение потребления ресурсов. Также были проверены сценарии с потоковыми данными и меняющейся топологией сети, где CoCoL подтвердил свою высокую устойчивость и эффективность. #################################################### ## Значимость #################################################### **Значимость** CoCoL может быть применен