SL-ACC: A Communication-Efficient Split Learning Framework with Adaptive Channel-wise Compression

#### Контекст Современные нейронные сети становятся все более сложными, что создает значительные вызовы для их развертывания в распределенных машинных обучении (ML), особенно на устройствах с ограниченными ресурсами, таких как федеративное обучение (FL). Одним из таких подходов является **Split Learning (SL)**, который позволяет разделить вычислительную нагрузку между устройствами. Однако, при увеличении количества участников, весьма значительной является задержка, вызванная трансмиссией объектов и промежуточных данных (smashed data), включая активации и градиенты. Таким образом, необходимо разработать эффективный подход к сжатию данных, чтобы ускорить обучение моделей. #### Метод **SL-ACC** — это разработанная система, которая состоит из двух ключевых компонентов: **Adaptive Channel Importance Identification (ACII)** и **Channel Grouping Compression (CGC)**. ACII использует **Shannon entropy** для определения вклада каждого канала смашенных данных в процесс обучения. Затем, CGC группирует графические каналы с помощью алгоритма энтропии и применяет **group-wise adaptive compression** (групповое сжатие с адаптивностью) для сокращения объема передаваемых данных, не влияя на точность модели. Эта архитектура разработана для максимального эффективности в сжатии данных и уменьшения задержек в процессе обучения. #### Результаты Выполнены обширные эксперименты с помощью различных данных, включая MNIST, CIFAR-10, и CIFAR-100. Результаты показали, что **SL-ACC** значительно сокращает время, необходимое для достижения целевой точности, в сравнении с современными фреймворками. Эксперименты показали, что адаптивность ACII и CGC позволяет эффективно сжимать данные без потери качества обучения. Например, в сравнении с другими методами, **SL-ACC** относительно быстро достигает 90% точности, что делает его эффективным для распределенных ML-систем. #### Значимость **SL-ACC** может применяться в различных областях, включая медицину, транспорт, и ИИ для устройств с ограниченными ресурсами. Он обеспечивает значительное улучшение производительности в сравнении с другими методами сжатия. Одним из основных преимуществ является эффективное сжатие данных без потери точности, что делает его привлекательным для обучения моделей в реальном времени. Будущие исследования могут сфокусироваться на расширении фреймворка для различных типов нейронных сетей и улучшении его эффективности в разных условиях сетевых узколей. #### Выводы **SL-ACC** позволяет эффективно группировать каналы и адаптивно сжимать данные в рамках распределенного обучения. Он предлагает значительное улучшение в скорости и качестве обучения, что делает его привлекательным для распределенных систем, включая FL. Дальнейшие ис