Learned Digital Codes for Over-the-Air Federated Learning

## Контекст Federated edge learning (FEEL) представляет собой метод обучения моделей, позволяющий распределенно обучать модели на распределенных устройствах без необходимости централизованного хранения данных. Этот подход широко применяется в сценариях, где крупномасштабное обучение моделей требует обеспечения конфиденциальности и эффективности. Однако развертывание FEEL сталкивается с ограничениями, связанными с ограниченной пропускной способностью беспроводных каналов. Одним из перспективных подходов является over-the-air (OTA) способ агрегации, который способен объединить вычисления и связь в одном процессе, уменьшая необходимость в дорогостоящих беспроводных передачах. Несмотря на это, существующие цифровые OTA-методы часто сталкиваются с проблемой того, чтобы достичь как высокой надежности, так и устойчивости к шумам в условиях низкого сигнал-шум-отношения (SNR). Это ограничивает мощность использования FEEL в сценариях, где многие беспроводные устройства, такие как IoT-устройства, работают с низким SNR. ## Метод В этой работе предлагается новый подход к цифровой OTA-агрегации, основанный на машинном обучении. Основная идея заключается в использовании нейронной сети для обучения цифровых кодов, которые оптимально подстраиваются под условия сигнала, чтобы обеспечить надежную агрегацию даже в условиях низкого SNR. Разработанная модель включает в себя несколько ключевых компонентов: 1. **Обучаемый декодер** — это нейронная сеть, обученная восстанавливать ошибки в полученных данных, даже при высоком шуме. 2. **Кодовая структура** — кодовая структура оптимизируется вместе с декодером, чтобы добиться максимальной точности и устойчивости в низких SNR. 3. **Унисонность кодов** — данный подход позволяет параллельно обучить несколько кодов, чтобы обеспечить рост мощности и повышение устойчивости к многоузловому шуму. Эта архитектура расширяет область применения FEEL до низко-SNR-условий, обеспечивая лучшую надежность и устойчивость по сравнению с традиционными методами. ## Результаты Чтобы протестировать эффективность, авторы провели эксперименты на моделировании OTA-агрегации в условиях низкого SNR. Были проведены эксперименты с разными уровнями шума и различными количествами устройств. Результаты показали, что новый подход позволяет расширить область надежного работы модели на более чем 7 дБ по сравнению с традиционными методами. Также было отмечено, что улучшенная устойчивость к шумам приводит к повышению точности глобальной модели во всех уровнях SNR, что показывает преимущества использования обучаемых кодов в сц