FedMeNF: Privacy-Preserving Federated Meta-Learning for Neural Fields
2508.06301v1
cs.LG, cs.AI, cs.CV, cs.DC
2025-08-12
Авторы:
Junhyeog Yun, Minui Hong, Gunhee Kim
Резюме на русском
#### Контекст
Современные технологии сталкиваются с растущим потребностью в эффективных методах обработки и анализа больших многомодальных данных. Одним из ключевых подходов является исследование **neural fields**, которые представляют собой памятно-эффективные модели, позволяющие хранить и обрабатывать данные различных моделей. Несмотря на их удобство и высокую точность, обучение моделей, основанных на neural fields, требует высоких вычислительных ресурсов и больших объемов данных. Это ограничивает применение таких моделей в средах с ограниченными ресурсами, таких как edge devices. Для преодоления этого трудности возникает необходимость в разработке методов эффективного обучения, особенно в условиях нехватки данных или существующих требований к конфиденциальности. **Federated Meta-Learning (FML)** представляет собой такой подход, но существуют проблемы, связанные с повышенным риском утечки конфиденциальных данных. Для решения этой проблемы предлагается новый подход, называемый **FedMeNF**.
#### Метод
**FedMeNF** — это метод **federated meta-learning**, основанный на применении новой **privacy-preserving loss-функции**, которая позволяет снизить риск утечки конфиденциальных данных. Архитектура FedMeNF включает в себя локальный мета-оптимизатор, работающий на каждом клиенте без сохранения чувствительных данных. Этот метод оптимизирует модель на базе нейронных полей, используя федеративное обучение, при этом минимизируя риск утечки конфиденциальности. Особенностью FedMeNF является использование адаптивной стратегии, которая позволяет достичь быстрого обучения и хорошего качества реконструкции, даже при несбалансированных (non-IID) данных. Техническим решением является использование **privacy-preserving loss**, который регулирует уровень утечки при мета-оптимизации на клиентских устройствах.
#### Результаты
Для оценки эффективности FedMeNF проводились ряд экспериментов на различных данных, включая несбалансированные (non-IID) и небольшие объемы данных. Результаты были сравнены с другими подходами, такими как traditiona FML и традиционные модели neural fields. Эксперименты показали, что FedMeNF демонстрирует **высокую скорость обучения** и **устойчивость к несбалансированным данным**. Кроме того, модель показала **высокую точность реконструкции** данных, даже при нескольких итераций обучения. Такие результаты достигаются благодаря применению **новой loss-функции**, которая эффективно регулирует утечку конфиденциальных данных. Эти результаты подтверждают **робастность** и **эффективность** FedMeNF в условиях реальных данных.
#### Значимость
**FedMeNF** представляет собой значительный вклад в область **neural fields** и **federated learning**. Его главное преимущество заключается
Abstract
Neural fields provide a memory-efficient representation of data, which can
effectively handle diverse modalities and large-scale data. However, learning
to map neural fields often requires large amounts of training data and
computations, which can be limited to resource-constrained edge devices. One
approach to tackle this limitation is to leverage Federated Meta-Learning
(FML), but traditional FML approaches suffer from privacy leakage. To address
these issues, we introduce a novel FML approach called FedMeNF. FedMeNF
utilizes a new privacy-preserving loss function that regulates privacy leakage
in the local meta-optimization. This enables the local meta-learner to optimize
quickly and efficiently without retaining the client's private data. Our
experiments demonstrate that FedMeNF achieves fast optimization speed and
robust reconstruction performance, even with few-shot or non-IID data across
diverse data modalities, while preserving client data privacy.