Unified Knowledge Distillation Framework: Fine-Grained Alignment and Geometric Relationship Preservation for Deep Face Recognition

## Контекст Классификация лиц – одна из самых важных задач в области обработки изображений. На устройствах с ограниченными ресурсами, таких как мобильные телефоны или IoT-устройства, требуется оптимизация моделей для эффективного распознавания лиц. Одним из распространенных подходов является Knowledge Distillation (KD), при котором учеником (student) является модель с меньшим размером и сложностью, которая учится от преподавателя (teacher) – более сложной модели. Однако, традиционные методы KD, такие как Raw L2 Feature Distillation и Feature Consistency loss, часто не могут полностью хвататься тонких деталей индивидуальных примеров и сложных отношений между образами. Это приводит к затруднениям в достижении высокой точности на устройствах с ограниченными ресурсами. ## Метод Мы предлагаем Unified Knowledge Distillation Framework, который объединяет два новых подхода к распространенным проблемам при распределении знаний. Первый, **Instance-Level Embedding Distillation**, ориентирован на тонкую характеристику индивидуальных примеров. Он использует динамическую стратегию hard mining для выделения сложных примеров, что позволяет улучшить алгоритм обучения. Другой, **Relation-Based Pairwise Similarity Distillation**, заключается в привлечении отношений между примерами. Он использует механизм memory bank для хранения информации о парах примеров и стратегию sample mining для выделения ключевых отношений. Этот комплексный подход обеспечивает эффективное взаимодействие между отдельными примерами и их отношениями, что приводит к более точному распределению знаний и высокой точности распознавания. ## Результаты Мы проводили эксперименты на нескольких датасетах для распознавания лиц, таких как LFW, CFP-FP и AgeDB-30. Наши результаты показали, что универсальный KD-фреймворк превосходит существующие методы по метрикам точности. Особо заметны улучшения на сложных датасетах, где тонкие детали и отношения между примерами играют ключевую роль. Даже в ситуациях, когда преподаватель модель (teacher) сильнее, тогда ученик (student) может превзойти его, что демонстрирует мощь нашей модели. Эти результаты подтверждают эффективность нашего подхода в рамках распределения знаний для лица. ## Значимость Наш фреймворк может применяться в различных задачах, где необходима эффективная классификация лиц, например, в безопасности, в устройствах для личного идентификации, в системах доступа к данным. Он улучшает точность, сохраняя эффективность, что делает его привлекательным для применения в реальных устройствах. Благодаря взаимодействию между отдельными примерами и их отношениями, наш подход отличается своей глубиной и точностью, что делает его одним из лучших в своем классе. ## Выводы Мы представили новый Unified Knowledge Distillation Framework, который использ