Evaluating Selective Encryption Against Gradient Inversion Attacks

#### Контекст Проблематика обеспечения конфиденциальности в распределенных фреймворках тренировки, таких как федеративное обучение (federated learning), становится все более актуальной с ростом применения машинного обучения в сентивные данные. Градиентные нападения (gradient inversion attacks) являются одной из наиболее критических угроз, позволяя злоумышленникам воссоздать исходные данные тренировки, используя только связные градиенты, передаваемые между клиентами и сервером. Существующие методы, такие как гомоморфная шифровка, обеспечивают высокую защиту, но при этом требуют высокого вычислительного затрат. В этой связи появилась идея **селективной шифровки**, которая заключается в шифровании только самых важных элементов градиентов, определяемых определенной метрикой. Однако существует недостаток в исчерпывающих исследованиях, которые позволяют выбрать эти метрики в практических ситуациях. #### Метод Мы предлагаем систематический подход к оценке селективной шифровки через различные метрики важности градиентов. Методология включает: 1. **Моделирование**: Использование различных архитектур нейронных сетей, таких как LeNet, CNN, BERT и GPT-2, для имитации различных сценариев обучения. 2. **Защитные методы**: Реализация селективной шифровки с разными метриками важности градиентов (например, градиентная норма, максимальное значение и др.). 3. **Атаки**: Эмуляция градиентных нападений, включая optimization-based и другие, для оценки эффективности защиты. 4. **Оценка**: Измерение уровня повреждения градиентов и степени восстановления оригинальных данных. #### Результаты Мы провели эксперименты на нескольких моделях и задачах, включая обработку изображений и текстов. Наши результаты показали, что **градиентная норма** и **максимальные значения** являются эффективными метриками для селективного шифрования, обеспечивая сбалансированную защиту и высокую эффективность. Был определен тот факт, что **шифрование только ключевых элементов** не только снижает вычислительные затраты, но и обеспечивает достаточную защиту против градиентных нападений. Однако найдено, что **оптимальный подход** зависит от конкретной модели и уровня требуемой конфиденциальности. #### Значимость Результаты нашего исследования имеют значительное значение для разработки эффективных защитных методов во время федеративного обучения. Мы продемонстрировали, что **селективная шифровка** может стать эффективным методом для уменьшения вычислительных затрат без ущерба к защите конфиденциальных данных. Наша работа также заложила фундамент для будущих иссле