Hybrid Generative Fusion for Efficient and Privacy-Preserving Face Recognition Dataset Generation
2508.10672v1
cs.CV, cs.AI
2025-08-16
Авторы:
Feiran Li, Qianqian Xu, Shilong Bao, Boyu Han, Zhiyong Yang, Qingming Huang
Резюме на русском
## Контекст
Проблема эффективности и защиты конфиденциальности в сфере распознавания лиц становится все актуальнее в условиях повышения требований к защите персональных данных и улучшения качества алгоритмов распознавания. Обычно, сбор данных для обучения моделей распознавания лиц требует огромных затрат времени и ресурсов, так как обучающиеся данные должны быть качественными и не должны содержать пересечений с другими общедоступными наборами данных. В этой статье предлагается новая методология, которая позволяет сформировать высококачественный набор данных для распознавания лиц, не имеющий пересечений с существующими общедоступными наборами данных, с минимальными затратами.
## Метод
Методология, предложенная в статье, состоит из нескольких ключевых этапов. Сначала проводится чистка базового набора данных HSFace, в ходе которой используется Mixture-of-Experts (MoE) стратегия, которая объединяет кластеризацию объектных признаков и проверку идентификаторов с помощью GPT-4o. Этот подход позволяет удалить неточные идентификаторы и слишком схожие образцы. Далее, для расширения набора данных используется метод Stable Diffusion с помощью продвинутой инженерии запросов, чтобы сгенерировать новые синтетические идентификаторы. Чтобы эффективно расширить сгенерированные образцы, используется Vec2Face, который быстро генерирует различные варианты с признаками согласованности. Наконец, алгоритм использует curriculum learning для обучения модели, начиная с простых примеров и переходя к сложным. Этот подход позволяет достичь высокого качества и разнообразия данных с минимальными затратами.
## Результаты
Чтобы продемонстрировать эффективность своего подхода, авторы проводили ряд экспериментов с использованием различных масштабов идентификаторов (10K, 20K, 100K). В результате, их метод показал значительное улучшение показателей распознавания лиц по сравнению с другими методами. Также показано, что сгенерированные данные не имеют пересечений с общедоступными наборами данных, что гарантирует безопасность и защиту конфиденциальности. Эксперименты проводились с использованием стандартных наборов данных, и результаты подтверждают высокую эффективность нового подхода.
## Значимость
Предложенный подход имеет широкое применение в сфере лицевого распознавания, где необходимо создавать высококачественные наборы данных для обучения моделей без пересечений с другими наборами. Одним из основных преимуществ этого метода является его эффективность и защита конфиденциальности. Наносимый влияние заключается в том, что построенный набор данных может быть использован в различных задачах, от обычного распознавания лиц до задач
Abstract
In this paper, we present our approach to the DataCV ICCV Challenge, which
centers on building a high-quality face dataset to train a face recognition
model. The constructed dataset must not contain identities overlapping with any
existing public face datasets. To handle this challenge, we begin with a
thorough cleaning of the baseline HSFace dataset, identifying and removing
mislabeled or inconsistent identities through a Mixture-of-Experts (MoE)
strategy combining face embedding clustering and GPT-4o-assisted verification.
We retain the largest consistent identity cluster and apply data augmentation
up to a fixed number of images per identity. To further diversify the dataset,
we generate synthetic identities using Stable Diffusion with prompt
engineering. As diffusion models are computationally intensive, we generate
only one reference image per identity and efficiently expand it using Vec2Face,
which rapidly produces 49 identity-consistent variants. This hybrid approach
fuses GAN-based and diffusion-based samples, enabling efficient construction of
a diverse and high-quality dataset. To address the high visual similarity among
synthetic identities, we adopt a curriculum learning strategy by placing them
early in the training schedule, allowing the model to progress from easier to
harder samples. Our final dataset contains 50 images per identity, and all
newly generated identities are checked with mainstream face datasets to ensure
no identity leakage. Our method achieves \textbf{1st place} in the competition,
and experimental results show that our dataset improves model performance
across 10K, 20K, and 100K identity scales. Code is available at
https://github.com/Ferry-Li/datacv_fr.
Ссылки и действия
Дополнительные ресурсы: