Decentralized Contextual Bandits with Network Adaptivity

## Контекст Одна из основных проблем в области построения алгоритмов для работы в сетях — это совместимость локального и глобального подходов в ситуации, когда разные узлы в сети имеют различные особенности, но при этом делятся общими элементами. Решение этой задачи требуется для различных приложений, например, в системах рекомендаций, экономических системах, сетях мобильных сенсоров. Исследователи столкнулись с трудностью в создании методов, которые могли бы адаптироваться к таким сетям, при этом обеспечивая эффективное использование ресурсов и сохранение эффективности решений. ## Метод В работе разрабатываются два алгоритма — NetLinUCB и Net-SGD-UCB — для решения проблемы уравнения в норме, задаваемой в сетевой среде. Эти алгоритмы построены на базе UCB (Upper Confidence Bound), но имеют особенности, позволяющие адаптироваться к сетевым особенностям. Основные идеи заключаются в том, чтобы декомпозировать обучение на глобальную и локальную часть. Это позволяет локальным агентам быстрее адаптироваться к своим локальным условиям, при этом получая всю необходимую информацию, которая синхронизируется в центральном месте. Алгоритмы используют динамически обновляемые веса сети для учета информации о соседних узлах. ## Результаты Эксперименты проводились на симулированных данных, в том числе в средах, где требуется принятие решений в условиях высокой неопределенности и большого количества переменных. Алгоритмы NetLinUCB и Net-SGD-UCB показали значительное улучшение в скорости обучения и качестве решений по сравнению с базовым вариантом UCB. Алгоритм NetLinUCB был эффективен в условиях слабой шумовой корреляции, а Net-SGD-UCB — в условиях высокой размерности и сильной шумовой корреляции. Также был изучен влияние размера сети на эффективность алгоритмов. ## Значимость Разработанные методы могут быть применены в сферах, где требуется совместное принятие решений в сети, например, в экономических моделях, системах рекомендаций, системах мониторинга и управления сетями. Они обеспечивают лучшую скорость и качество решений, уменьшают количество обмена информацией между узлами в сети, что позволяет эффективно использовать ресурсы. Эти методы также могут быть использованы в приложениях, где требуется быстрое реагирование на изменения в сети, такие как мобильные сети и системы управления трафиком. ## Выводы Работа предлагает два эффективных алгоритма для решения проблемы уравнения в норме в сетевых средах. Они демонстрируют значительные достижения в скорости и качестве решений, при этом уменьшая количество необходимой информации, которая