## Контекст В последние годы Autonomous Underwater Vehicles (AUVs) — подводные лодки с автономным управлением — приобрели важное место в области кооперативного обнаружения и разведки. Они обладают уникальными возможностями, такими как долговременное пребывание в акватории и незаметность для прицеливания. Однако использование таких лодок в совместных миссиях не без рисков. В адверсарских условиях возможность разглашения своего положения, обнаружения и атаки может ограничить эффективность выполнения задачи. Значительным технологическим вызовом является создание методов, которые позволят AUVs эффективно сотрудничать, при этом гарантируя низкую вероятность обнаружения. Эта проблема особенно актуальна в регионах, где акватория тщательно мониторится, например, рядом с военными базами или границами. Многие алгоритмы, предложенные ранее, не могут гарантировать как эффективность, так и безопасность в таких сценариях. Таким образом, необходимо разработать метод, который сможет компенсировать эти недостатки, обеспечив безопасность и эффективность в одновременном режиме. ## Метод Разрабатываемый подход основан на **Hierarchical Multi-Agent Proximal Policy Optimization (H-MAPPO)**, технике машинного обучения, которая применяется в задачах управления множеством агентов. Метод работает на двух разных временных масштабах: высоком (high-level) и низком (low-level). На высоком уровне, центральный AUV (центральное устройство) решает, какие агенты должны принимать участие в задаче, а также определяет их основные цели и задачи. На низком уровне, каждый участвующий AUV контролирует свои траектории и мощность передачи сигналов, чтобы снизить риск обнаружения. Здесь используется **Proximal Policy Optimization (PPO)**, метод оптимизации политик, который позволяет эффективно корректировать поведение AUVs в реальном времени. Архитектура H-MAPPO разделяет задачу на две части: стратегическую (высокого уровня) и траекторную (низкого уровня). Эта структура позволяет агентам быстро реагировать на изменения окружения, при этом оптимизируя время отклика и минимизируя вероятность разглашения. ## Результаты Эксперименты проводились в симуляторе, где были рассмотрены различные ситуации, в том числе с высокой вероятностью обнаружения, многорукими бандами врагов и сильным шумом фона. Запуски проводились с различными наборами параметров, включая различные конфигурации AUVs, различные уровни шума и различные виды атак врагов. Использовались данные, полученные от реальных подводных лодок, чтобы убедиться в реалистичности моделей. Результаты показали, что H-MAPPO успешно оптимизирует решения, снижая вероятность обнаруж

#################################################### ## Контекст #################################################### **Контекст** Коллективное обучение (Collaborative Learning) является ключевым подходом для улучшения производительности и адаптивности многоробочных систем в решении сложных задач. Однако оно сталкивается с значительными затруднениями, связанными с высокой нагрузкой на связь (communication overhead) и сложностями, возникающими из-за неоднородности данных (data heterogeneity), обусловленной разнообразием задач и окружающими условиями. Эти проблемы становятся особенно актуальными в средах, где роботы должны ориентироваться в реальном времени, адаптироваться к изменениям и обрабатывать неидентичные данные (non-IID data). В настоящей работе предлагается CoCoL (Communication Efficient Decentralized Collaborative Learning) — метод, специально разработанный для многоробочных систем, где участники обучаются на неоднородных локальных данных. CoCoL рассчитан на минимизацию объема связи и вычислительных затрат, чтобы обеспечить высокую эффективность и точность в таких сложных условиях. #################################################### ## Метод #################################################### **Метод** CoCoL основывается на рамках Мира (Mirror Descent), которая позволяет организовать эффективные обновления с приближенным новыон-типом (approximate Newton-type updates). Данный подход позволяет значительно сократить нагрузку на связь, так как эти обновления учитывают семантическую схожесть между локальными функционалами задач. Для того, чтобы уменьшить вычислительные затраты, CoCoL применяет методы решения опорного суб-задачи с неточностью (inexact sub-problem solutions). Кроме того, в CoCoL внедрена схема отслеживания градиентов (gradient tracking), которая повышает устойчивость метода к неоднородности данных и позволяет роботам координировать свои решения в условиях варьирующейся топологии сети (time-varying network topologies). Это делает CoCoL легко адаптируемым к различным сложностям, таким как неидентичность данных (non-IID), потоковые данные (streaming data) и динамические сетевые структуры. #################################################### ## Результаты #################################################### **Результаты** Исследования проводились на трех представительных задачах многоробочного коллективного обучения. Эксперименты показали, что CoCoL значительно уменьшает число требуемых сетевых раундов и объем потребляемой пропускной способности (bandwidth) по сравнению с текущими методами. Это достигается без потери точности, которая соответствует состоянию техники (state-of-the-art accuracy). В частности, на задаче неидентичных данных (non-IID), где роботы обучаются на различных подвыборках, CoCoL показал существенный выигрыш в скорости обучения и уменьшение потребления ресурсов. Также были проверены сценарии с потоковыми данными и меняющейся топологией сети, где CoCoL подтвердил свою высокую устойчивость и эффективность. #################################################### ## Значимость #################################################### **Значимость** CoCoL может быть применен