Enhancing Communication Efficiency in FL with Adaptive Gradient Quantization and Communication Frequency Optimization

## Контекст Federated Learning (FL) представляет собой метод обучения моделей с поддержкой нескольких участников, где устройства принимают участие в обучении модели без передачи личных данных на сервер. Это решение позволяет улучшить защиту данных и решить проблему вычислительных ресурсов. Однако FL сталкивается с ограничениями, одним из ключевых из которых является высокий объем обмена данными, который будет требоваться для периодических обновлений моделей между устройствами и сервером. Это препятствует развертыванию FL в сетях с ограниченными ресурсами. Поэтому, в условиях доступа к данным в реальных сетях, необходимо разработать методы, которые позволяют уменьшить объем обмена данными, оставив модель эффективной и точной. ## Метод В этой работе мы предлагаем улучшить эффективность FL с помощью трех основных моделей. Во-первых, мы предлагаем **Adaptive Feature-Elimination Strategy**, которая удаляет менее важные фичи, оставляя те, которые действительно влияют на подготовленную модель. Во-вторых, **Adaptive Gradient Innovation and Error Sensitivity-Based Quantization**, которая динамически подстраивает уровень компрессии градиентов, чтобы сохранять только собственные инновации градиента. В-третьих, **Communication Frequency Optimization**, которая стремится оптимизировать частоту обмена данными между устройствами и сервером. Эти три модели, применяемые в сочетании, нацелены на уменьшение коммуникационного накладных расходов, при этом сохраняя точность и качество модели. ## Результаты Мы провели широкие эксперименты для оценки нашей модели. Мы сопоставили ее с основными методами, оценив качество модели по следующим показателям: точность, потери и вырождение. Изменения в коммуникационной частоте и воздействии новых методов на эти различные показатели были зафиксированы. Эксперименты показали, что наша модель обеспечивает высокую эффективность коммуникации, сохраняя эффективность и точность, что делает ее привлекательной для применения в сетях с ограниченными ресурсами. ## Значимость Наша модель может применяться в различных областях, таких как медицина, мобильные системы, и вычисления в реальном времени. Она делает FL более эффективной и доступной для развертывания в реальных сетях. Благодаря нашей модели, можно улучшить скорость обучения и сократить расходы на связь, что делает FL более привлекательным для использования в реальных условиях, особенно в сетях с ограниченными ресурсами. ## Выводы Мы привносили новую стратегию для улучшения коммуникационной эффективности в FL. Модель **Adaptive Feature-Elimination Strategy**, **Adaptive Gradient Innovation and Error Sensitivity-Based Quantization** и **Communication Frequency Optimization** позволяют эффективно снизить потери в модели, оставив основные важные элементы. В будущем мы намереваемся расширить эти методы, учитывая более слож