#### Контекст Виджетные преобразования (Vision Transformers, ViTs) становятся все более популярными в области компьютерного зрения, особенно для задач, где изображения имеют высокое разрешение или требуется высокая точность. Однако обучение таких моделей сталкивается с проблемой высокой стоимости передачи данных, особенно в сценариях с распределенным обучением, таких как Split Learning (SL). Например, для обучения только одного ViT-маленького (ViT-S) применяется около 1,5 ТБ данных. Такой объем передачи данных приводит к большим затратам на пропускную способность сети, что особенно критично для устройств с ограниченными ресурсами или в условиях слабых подключений. Мотивацией для данного исследования является создание метода, позволяющего эффективно обучать ViTs в распределенных средах, снижая требования к передаче данных. #### Метод Разработанная методика, Attention-based Double Compression (ADC), представляет собой новую стратегию коммуникационной эффективности в рамках Split Learning. Она включает в себя две основных компоненты: 1. **Класс-агностичная стратегия сжатия**, основанная на среднем балле внимательной оценки (attention score) в последнем слое клиентского компонента. Она объединяет похожие примеры, независимо от их классов, что позволяет сократить объем передаваемых данных без ущерба для точности модели. 2. **Стратегия сжатия токенов**, которая удаляет менее значимые токены в процессе передачи. Это дополняет предыдущую стратегию, давая возможность значительного снижения объема передачи данных. Весь процесс обучения не требует дополнительных изменений в модели или аппроксимаций градиентов, что делает ADC простым и эффективным в использовании. #### Результаты Эксперименты проводились на стандартных датасетах, таких как CIFAR-10 и ImageNet, с использованием ViT-S. В сравнении с другими методами коммуникационной эффективности, такими как baseline Split Learning или Low-Rank Adaptation (LoRA), ADC показал значительное сокращение объема передаваемых данных. Например, при обучении на ImageNet с ViT-S, ADC уменьшил объем передаваемых данных на 40%, при этом сохранив точность модели почти на уровне стандартных методов. Эти результаты доказывают эффективность ADC в сокращении затрат на передачу данных в распределенных средах. #### Значимость ADC может быть применено в различных областях, где требуется обучение моделей ViT в условиях ограниченных ресурсов, таких как мобильные устройства, слабые подключения или высоконагруженные серверные системы. Этот подход экономит ресурсы, уменьшая требования к пропускной способности и улучшая возможности распределенного обучения. Благодаря своей простоте и эффективности, ADC может стать ключевым инструментом для раз

## Контекст В условиях имперфектной демографической представительности обучающих карт знаний в области глубокого обучения, наблюдается недостаточное внимание к генерируемой справедливости изображений. Ограниченный выбор изображений, относящихся к небольшим и зачастую незначимым классам, приводит к их ущемлению в полученных генеративных моделях. Одним из попыток устранить эту несоответствие стала разработка $t^3$VAE, которая использует тяжеловатый пир студентовского распределения. Однако существуют проблемы с неравномерностью распределения в латентном пространстве. Это проявляется в том, что латентное пространство все еще адаптируется к популярным классам, что делает процесс генерации несправедливым. Наша модель, Conditional-$t^3$VAE, предлагает решение этой проблемы. ## Метод Conditional-$t^3$VAE расширяет подход $t^3$VAE, добавляя условие, чтобы латентное пространство было представлено всех классов равномерно. Мы вводим независимое условие, определяется на каждый класс, чтобы избежать того, что более популярные классы не ограничивают меньшие. Модель оптимизируется с помощью закрытого формулярного критерия оптимизации, основанного на использовании гамма-показателя искажения. Алгоритмы обучения определяют совместный перцептуальный пространственный объект, который используется для создания равномерного латентного пространства. Таким образом, мы можем сделать процесс генерации справедливым, даже когда имеется сильная неравномерность в классах. ## Результаты Мы проверили Conditional-$t^3$VAE на трех наборах данных: SVHN-LT, CIFAR100-LT и CelebA, выбранных для их использования в императивных сценариях неравномерности. Мы сравнили результаты с $t^3$VAE и моделями с гауссовыми распределениями. Мы оценили модели с помощью FID-масштаба и F1-метрики. Модель Conditional-$t^3$VAE показала себя наиболее эффективной, особенно в ситуациях сильной неравномерности классов. Она предоставила лучшие результаты в FID-масштабе и показала постоянно высокую F1-метрику в различных классах, даже в ситуации с минимальной популярностью классов. Этот результат показал, что наш подход значительно повышает справедливость и разнообразие в генеративной модели. ## Значимость Модель Conditional-$t^3$VAE может использоваться в различных приложениях, в том числе в ситуациях, где нужно обеспечить справедливость изображений. Модель хорошо работает в ситуациях императивной неравномерности классов. Мы также показали, что условие, определяемое в нашей модели, может быть применено для расширения генеративных моделей, чтобы они становилис