On the Fragility of Contribution Score Computation in Federated Learning

## Контекст Исследование федеративного обучения (Federated Learning, FL) в последние годы приобрело важность в связи с его потенциалом для обеспечения приватности и эффективности обучения моделей. Одной из ключевых задач в FL является вычисление "контрибьюционного оценочного показателя" (contribution score), который позволяет оценивать вклад каждого участника в обучение общей модели. Этот показатель используется для обеспечения справедливости и мотивации участников к участию. Однако существуют потенциальные угрозы, которые могут повлиять на точность этого механизма. В частности, архитектурные особенности методов агрегации моделей и стратегические подборы под свои нужды позиции (intentional manipulation) могут существенно исказить оценки вклада участников. Наша цель — изучить эти факторы и развить соответствующие решения. ## Метод Для изучения вопросов, связанных с оценкой контрибьюции в FL, мы применяем методологию виртуальных экспериментов, включающую различные методы агрегации моделей и методы подбора моделей участников. В частности, мы используем Flower, платформу для разработки FL-решений. Наша методика включает следующие этапы: (1) сравнение различных способов агрегации моделей, в том числе традиционного среднего и более новых подходов, учитывающих различия в моделях и ошибках участников; (2) эмпирическое исследование потенциальных рисков, связанных с манипулированием оценкой участников через специально сконструированные модели; (3) разработка мер для оценки эффективности различных методов и их устойчивости к атакам. ## Результаты Мы провели эксперименты с различными моделями и данными, включая MNIST, CIFAR-10 и CIFAR-100. Мы проанализировали влияние различных стратегий агрегации на распределение контрибьюционных оценок. Наши результаты показали, что некоторые методы агрегации моделей, которые предназначены для улучшения стабильности и точности, могут существенно исказить оценки вклада. Также мы проверили устойчивость систем к атакам, включая poisoning attacks. Наши результаты подтвердили, что даже небольшие подготовленные модели могут существенно исказить оценку вклада участников, что демонстрирует уязвимость механизма. ## Значимость Результаты нашего исследования имеют значительное значение для развития эффективных механизмов оценки вклада в FL. Мы продемонстрировали, что избежание искажений вклада требует развития более устойчивых методов агрегации. Эти результаты имеют практическое значение для приложений, где справедливость и мотивация участников к участию являются ключевыми факторами успеха, таких как облачные вы