Parameter-Free Logit Distillation via Sorting Mechanism

#### Контекст Knowledge distillation (KD) — это метод передачи знаний от более крупной (teacher) к меньшей (student) модели сети, чтобы эффективно использовать ресурсы. Основная цель KD — улучшить производительность student по мере уменьшения размера модели. Обычно, эффективность определяется по точности классификации с учетом того, что student должен копировать правильные ответы teacher. Однако, существующие KD-методы недостаточно учитывают неверные ответы teacher, что может привести к неэффективному обучению. Наша мотивация заключается в исправлении этих неверных ответов и сортировке дистрибутива logits в соответствии с приоритетами. #### Метод Мы предлагаем подход, основанный на сортировке logits: (1) исправляем неверные ответы teacher с помощью меток, и (2) сортируем logits в соответствии с их приоритетом. Это достигается путем преобразования logits в сортированный дистрибутив, где каждый класс получает приоритет в зависимости от его достоверности. Наша методика является простой plug-and-play техникой, которую можно легко интегрировать в существующие KD-методы. Она не требует дополнительных параметров и оптимизации, что делает ее эффективной и легко применимой. #### Результаты Мы проверили нашу методику на датасетах CIFAR-100 и ImageNet. Использовались существующие KD-методы как базовые, в том числе vanilla KD и FitNet. Показали, что наш подход улучшает точность на 2-5% в сравнении с оригинальными KD-методами. Мы также провели эксперименты на разных значениях temperature и сравнили с другими популярными KD-методами. Результаты показали, что наш подход показывает стабильную выгоду в различных условиях. #### Значимость Наш подход имеет широкие применения в хорошо структурированных данных, где точность teacher может быть несогласованной. Он полезен в сценариях, где студент должен изучать не только правильные ответы, но и учитывать неверные ответы teacher. Наши результаты показывают, что метод может стать стандартом в KD-индустрии, так как он легко интегрируется с любыми KD-методами без дополнительных параметров. #### Выводы Мы представили новую технику для KD, основанную на сортировке logits. Наши эксперименты показали, что она эффективно исправляет неверные ответы teacher и сортирует дистрибутив в соответствии с приоритетами. Наш подход является простым, но эффективным инструментом для улучшения KD. Мы планируем дальнейшие исследования в области улучшения точности KD при нестабильных teacher-моделях.