Communication Efficient Split Learning of ViTs with Attention-based Double Compression

#### Контекст Виджетные преобразования (Vision Transformers, ViTs) становятся все более популярными в области компьютерного зрения, особенно для задач, где изображения имеют высокое разрешение или требуется высокая точность. Однако обучение таких моделей сталкивается с проблемой высокой стоимости передачи данных, особенно в сценариях с распределенным обучением, таких как Split Learning (SL). Например, для обучения только одного ViT-маленького (ViT-S) применяется около 1,5 ТБ данных. Такой объем передачи данных приводит к большим затратам на пропускную способность сети, что особенно критично для устройств с ограниченными ресурсами или в условиях слабых подключений. Мотивацией для данного исследования является создание метода, позволяющего эффективно обучать ViTs в распределенных средах, снижая требования к передаче данных. #### Метод Разработанная методика, Attention-based Double Compression (ADC), представляет собой новую стратегию коммуникационной эффективности в рамках Split Learning. Она включает в себя две основных компоненты: 1. **Класс-агностичная стратегия сжатия**, основанная на среднем балле внимательной оценки (attention score) в последнем слое клиентского компонента. Она объединяет похожие примеры, независимо от их классов, что позволяет сократить объем передаваемых данных без ущерба для точности модели. 2. **Стратегия сжатия токенов**, которая удаляет менее значимые токены в процессе передачи. Это дополняет предыдущую стратегию, давая возможность значительного снижения объема передачи данных. Весь процесс обучения не требует дополнительных изменений в модели или аппроксимаций градиентов, что делает ADC простым и эффективным в использовании. #### Результаты Эксперименты проводились на стандартных датасетах, таких как CIFAR-10 и ImageNet, с использованием ViT-S. В сравнении с другими методами коммуникационной эффективности, такими как baseline Split Learning или Low-Rank Adaptation (LoRA), ADC показал значительное сокращение объема передаваемых данных. Например, при обучении на ImageNet с ViT-S, ADC уменьшил объем передаваемых данных на 40%, при этом сохранив точность модели почти на уровне стандартных методов. Эти результаты доказывают эффективность ADC в сокращении затрат на передачу данных в распределенных средах. #### Значимость ADC может быть применено в различных областях, где требуется обучение моделей ViT в условиях ограниченных ресурсов, таких как мобильные устройства, слабые подключения или высоконагруженные серверные системы. Этот подход экономит ресурсы, уменьшая требования к пропускной способности и улучшая возможности распределенного обучения. Благодаря своей простоте и эффективности, ADC может стать ключевым инструментом для раз