SenseCrypt: Sensitivity-guided Selective Homomorphic Encryption for Joint Federated Learning in Cross-Device Scenarios

## КОНТЕКСТ И ПРОБЛЕМАТИКА Федеративное обучение (Federated Learning, FL) становится все более популярным подходом к совместному обучению моделей машинного обучения, сохраняя при этом конфиденциальность данных. Однако обеспечение безопасности в FL представляет серьезные вызовы, особенно в кросс-девайс сценариях, где устройства имеют различные характеристики и распределения данных. Традиционные методы гомоморфного шифрования (Homomorphic Encryption, HE), используемые для защиты конфиденциальности, характеризуются высокими вычислительными издержками и сложностью адаптации. Selective HE методы, которые частично шифруют модельные параметры с помощью глобального маска, были предложены для снижения вычислительных издержек и упрощения адаптации. Однако в кросс-девайс сценариях, где данные клиентов хетерогенны, эти методы могут приводить к ухудшению производительности и увеличению времени обучения из-за "straggling" клиентов. Кроме того, традиционные подходы часто не могут эффективно балансировать безопасность и производительность в условиях неравномерного распределения данных. ## ПРЕДЛОЖЕННЫЙ МЕТОД Для решения этих проблем был предложен метод SenseCrypt, который использует подход на основе чувствительности (Sensitivity-guided selective Homomorphic EnCryption) для адаптивного балансирования безопасности и вычислительных издержек в кросс-девайс сценариях FL. Метод состоит из нескольких этапов. Во-первых, был разработан метод кластеризации клиентов на основе их распределений данных. Этот метод использует метрику чувствительности параметров модели для определения схожести данных клиентов. Затем, для каждого клиента в кластере, был разработан механизм оценки, который определяет количество параметров модели, которые могут быть зашифрованы без причинения "straggling". На последнем этапе, для каждого клиента была сформирована и решена многокритериальная оптимизационная задача, целью которой является минимизация вычислительных издержек HE и максимизация безопасности модели. Это позволяет выбирать оптимальный набор параметров для шифрования, сохраняя при этом высокую точность модели и снижая время обучения. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Эксперименты были проведены на различных наборах данных для оценки эффективности SenseCrypt по сравнению с традиционными методами HE. Результаты показали, что SenseCrypt успешно защищает модель от современных атак инверсии, обеспечивая при этом высокую точность модели, сравнимую с точностью на IID данных. Кроме того, SenseCrypt значительно сокращает время обучения. В зависимости от набора данных и конфигурации, время обучения было сокращено на 58.4%-88.7% по сравнению с традиционными методами HE. Это подтверждает эффективность предложенного подхода в условиях неравномерного распределения данных и различных характеристик клиентов. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ SenseCrypt имеет широкое применение в различных областях, где необходимо обеспечить безопасность и конфиденциальность данных во время обучения моделей машинного обучения. Он может быть использован в сферах здравоохранения, финансов, телекоммуникаций и других, где данные часто хранятся на различных устройствах и имеют различные распределения. Преимущества SenseCrypt включают в себя снижение вычислительных издержек, улучшение производительности и сохранение высокой точности модели. Это делает его привлекательным для практического применения в реальных системах FL. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ SenseCrypt представляет собой эффективный и практически значимый подход к обеспечению безопасности в кросс-девайс сценариях FL. Он успешно решает проблему высоких издержек и "straggling" клиентов, характерных для традиционных методов HE. В будущем можно рассмотреть дальнейшее улучшение метода, включая оптимизацию для более сложных сценариев и использование более продвинутых метрик для оценки чувствительности параметров модели. Также могут быть исследованы возможности интеграции SenseCrypt с другими методами обеспечения безопасности в FL.