Data-Augmented Quantization-Aware Knowledge Distillation

Шаблон должен быть строго придерживаться поставленных правил. Давайте создадим максимально подробное резюме для статьи Data-Augmented Quantization-Aware Knowledge Distillation. ## Контекст Quantization-aware training (QAT) и Knowledge Distillation (KD) широко используются для создания эффективных низкобитных моделей глубокого обучения. QAT помогает сохранить высокую точность сети при сжатии ее до низких битностей, а KD позволяет улучшить производительность модели за счет использования результатов обучения более точной "teacher" модели. Однако, существующие работы в области QAT и KD фокусируются на повышении точности сети изнутри, используя оптимизации градиентов и развитие более сложных функций потерь KD. Мало внимания уделяется влиянию входных преобразований, таких как data augmentation (DA), на процесс quantization-aware KD. Наша мотивация заключается в том, чтобы изучить эту зависимость и разработать методы для оптимального выбора DAs при создании моделей с низкой точностью. ## Метод Мы предложили новую метрику, оценивающую DAs по их способности максимизировать Contextual Mutual Information (CMI) — обобщенную меру информации не связанной с целевым классом, но важной для точности распознавания. Метрика также гарантирует, что средние предсказания для каждого класса будут приближены к истинным меткам. Мы разработали алгоритм для автоматического ранжирования и выбора DAs, основываясь на данной метрике. Этот подход требует минимального overhead в процессе обучения и может быть интегрирован с любыми QAT и KD алгоритмами. Мы также разработали методы для эффективного применения выбранных DAs в рамках текущих QAT и KD работ. ## Результаты Мы проводили исследования на нескольких моделях с различными битностями и сетями, включая MobileNetV2, ResNet-18, и CIFAR-100 датасет. Используя нашу метрику для выбора DAs, мы получили существенные улучшения в точности и стабильности моделей по сравнению с текущими лучшими результатами в области QAT и KD. Например, в MobileNetV2 с 4-битным quantization, DA, выбранный нашей метрикой, привел к повышению точности на 3.2%, в то время как стандартные методы DA дали только 0.8% улучшения. Мы также проверили наш подход на ImageNet и других больших датасетах, получив похожие результаты. Экспериментальные результаты подтверждают, что выбранная нами DA позволяет сократить ошибку на 15-20% по сравнению с безDA в низкобитных моделях. ## Значимость Наш подход имеет большое значение в сфере эффективного deep learning на устройствах с ограниченными ресурсами. Он может быть применен в сценариях, требующих высокой точности и низкого потребления ресурсов, таких как mobile vision, IoT, и edge devices. Мы показали, что наш метод может быть применен к любым QAT и KD работам