Strategic Incentivization for Locally Differentially Private Federated Learning

################################# ## Контекст ################################# Федеративное обучение (Federated Learning, FL) — это метод обучения моделей машинного обучения, в котором несколько клиентов объединяются для обучения модели, отправляя градиенты (вместо непосредственно данных) на сервер. Это позволяет обучать модели, не передавая личные данные клиентов. Однако, даже при отправке только градиентов, существует риск вытекающей информации, что может повлиять на конфиденциальность клиентов. Чтобы сдерживать этот риск, используется локальная дифференциальная конфиденциальность (Local Differential Privacy, LDP). LDP предполагает добавление шума к градиентам клиентов, прежде чем они отправляются на сервер. Хотя это защищает конфиденциальность клиентов, это приводит к понижению точности глобальной модели. Было подтверждено, что принимая оптимальные решения, градиенты добавляют шум, который влияет на качество обучения. Наша работа рассматривает этот конфликт между конфиденциальностью и качеством обучения в FL и предлагает решения для оптимизации этого баланса. ################################# ## Метод ################################# Мы строим модель FL, в которой клиенты решают, насколько градиенты нужно искажать, добавляя шум. Мы задаем взаимодействие между клиентами и сервером в качестве игры. Клиент выбирает количество шума, который добавит к своим градиентам, при этом сервер предоставляет токены (в зависимости от степени искажения), которые клиент может использовать для получения обновленной модели. Наш метод использует инструменты из теории игр для моделирования этого взаимодействия. Мы определяем игроков (клиенты и сервер), их действия (уровни добавления шума) и выигрышные функции (качество модели для сервера и конфиденциальность для клиентов). Мы также рассмотрели различные сценарии токенов и их влияние на конфиденциальность и качество модели. ################################# ## Результаты ################################# Мы проводили многочисленные эксперименты с разными уровнями добавления шума и различными сценариями токенов. Наши результаты показывают, что при оптимальном балансе между добавлением шума и токенными наградами можно достичь значительного повышения точности глобальной модели, не сильно повлияв на конфиденциальность клиентов. Мы также обнаружили, что стратегически оптимальная стратегия для клиентов состоит в добавлении минимального шума, который позволяет получить достаточно токенов для обновления модели, не сильно затрагивая точность обучения. Эти результаты подтверждают, что наш метод позволяет найти сбалансированные решения, когда FL оптимально выполняется в терминах конфиденциальности и точности. ################################# ## Значимость ################################# Наша работа имеет значительное значение в сфере конфиденциального широкомасштабного обучения. Мы предлагаем решение