## КОНТЕКСТ И ПРОБЛЕМАТИКА Federated Learning (FL) является передовым подходом к коллаборативному обучению моделей на децентрализованных данных, который позволяет сохранять конфиденциальность данных на клиентских устройствах. Однако FL незащищен от рисков, связанных с **gradient leakage attacks**, которые могут позволить злоумышленникам восстановить чувствительную информацию о данных пользователей на основе градиентов, передаваемых в процессе обучения. Традиционные методы защиты, такие как **differential privacy (DP)** и **homomorphic encryption (HE)**, часто вводят значительный компромисс между конфиденциальностью, качеством модели и вычислительными затратами. Этот компромисс становится особенно критичным в **heterogeneous environments**, где данные клиентов неидентичны (non-IID), а возможности устройств различаются. Проблематика заключается в необходимости разработки метода, который бы обеспечил высокую конфиденциальность, сохраняя при этом высокую эффективность модели и умеренные вычислительные накладные расходы. Кроме того, важно учитывать требования **personalization**, где клиенты могут иметь уникальные локальные нужды, которые не должны быть скомпрометированы в процессе глобального обучения. Настоящие методы защиты часто недостаточно адаптивны к различиям между клиентами, что может привести к неэффективности защиты или ухудшению производительности модели. Таким образом, существует актуальная необходимость в разработке гибридного подхода, который мог бы комбинировать преимущества разных методов защиты, с учетом разнообразия данных и возможностей клиентов. ## ПРЕДЛОЖЕННЫЙ МЕТОД Авторы предлагают **SelectiveShield**, легковесный гибридный фреймворк защиты, который интегрирует **selective homomorphic encryption** и **differential privacy** для защиты от gradient leakage. Основная идея заключается в адаптивном выборе параметров, которые требуют защиты, на основе **Fisher information**. 1. **Локальная квантификация чувствительности:** Каждый клиент вычисляет **Fisher information** для своих локальных данных, чтобы определить чувствительность параметров модели. Эта информация используется для определения критических параметров, которые требуют защиты. 2. **Коллаборативный протокол согласования:** Клиенты согласовываются по отношению к набору критических параметров, которые будут защищены с помощью **homomorphic encryption**. Это позволяет сократить вычислительные затраты, защищая только наиболее важные параметры. 3. **Локальное хранение уникальных параметров:** Параметры, которые важны только для конкретного клиента, хранятся локально, что позволяет поддерживать **personalization** без риска утечки информации. 4. **Адаптивное применение DP:** Остальные некритические параметры защищаются с помощью **differential privacy noise**, который применяется адаптивно в зависимости от контекста. Этот подход позволяет обеспечить баланс между конфиденциальностью, качеством модели и вычислительной эффективностью, а также поддерживает **scalability** в реальных системах FL. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Авторы провели эксперименты на различных датасетах, включая non-IID данные, для оценки эффективности **SelectiveShield** по сравнению с существующими методами. - **Данные:** Использовались датасеты с различным уровнем разнообразия данных клиентов. - **Метрики:** Оценивались **model utility** (точность модели), **privacy leakage** (уровень утечки градиентов), и **computational overhead** (вычислительные затраты). - **Результаты:** SelectiveShield демонстрирует значительное снижение риска утечки градиентов в сравнении с методами, основанными только на DP или HE. Он также показывает сохранение высокого качества модели, даже при высокой неидентичности данных клиентов. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ SelectiveShield имеет широкое применение в реальных сценариях FL, где клиенты могут иметь разнообразные данные и ограниченные вычислительные ресурсы. Он предлагает: - **Персонализацию:** Локальное хранение уникальных параметров поддерживает индивидуальные потребности клиентов. - **Масштабируемость:** Легковесная архитектура позволяет эффективно использовать метод в системах с ограниченными ресурсами. - **Применимость в реальном мире:** Метод может быть интегрирован в существующие системы FL для повышения конфиденциальности без значительного увеличения вычислительных затрат. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ SelectiveShield представляет собой эффективное решение для защиты от gradient leakage в FL, которое сочетает в себе преимущества homomorphic encryption и differential privacy. Будущие исследования могут фокусироваться на дальнейшем улучшении адаптивности метода для более сложных сценариев и расширении его применимости к другим типам моделей и данных.

**Резюме:** С ростом интеграции больших языковых моделей в повседневную жизнь, аудио интерфейсы становятся ключевым элементом взаимодействия человека с ИИ. Однако этот контекст также создаёт новые угрозы, превращая аудио в потенциальную точку атаки. Исследование представляет WhisperInject — двухэтапный фреймворк для атак на аудио-языковые модели, способный вызывать вредоносные реакции, оставаясь незаметным для человеческого слушателя. На первом этапе, с помощью метода Reinforcement Learning with Projected Gradient Descent (RL-PGD), выполняется обход систем безопасности модели. На втором этапе, Payload Injection, используется Projected Gradient Descent (PGD) для внедрения тонких изменений в безопасные аудиозапросы, такие как погодные данные или приветствия. Результаты, проверенные на StrongREJECT, LlamaGuard и Human Evaluation, показывают успешность атак на модели Qwen2.5-Omni-3B, Qwen2.5-Omni-7B и Phi-4-Multimodal с проходной способностью более 86%. Эта работа выявляет практическую угрозу аудио-нативных атак, демонстрируя новый класс угроз для ИИ.