Are you In or Out (of gallery)? Wisdom from the Same-Identity Crowd

2508.06357v1 cs.CV, cs.AI 2025-08-12
Авторы:

Aman Bhatta, Maria Dhakal, Michael C. King, Kevin W. Bowyer

Резюме на русском

#### Контекст Одна из основных проблем в системах однонаправленного лицового распознавания — определение, принадлежит ли пробельное лицо (отсутствующее в галерее) к одному из идентификационных образов в галерее или нет. Традиционные методы, основывающиеся на сравнении лиц с галереи, часто применяют простую треугольную формулу для выявления подходящего порога сходства. Однако этот подход может привести к неточным оценкам, особенно в условиях низкого качества пробы. Наша исследовательская группа предлагает новый подход, использующий дополнительные идентификационные изображения одного идентификационного образа для классификации результатов распознавания как "в галерее" или "не в галерее". #### Метод Для построения модели классификации мы строим выборку In-gallery и Out-of-gallery с использованием дополнительных изображений зарегистрированных в галерее для определенного идентификационного образа. Эти изображения затем используются для создания признакового вектора, отражающего порядок регистрации изображений в галерее. Этот вектор вводится в классификатор, который выводит вероятность того, что результат распознавания (rank-one) — In-gallery или Out-of-gallery. Мы использовали два разных набора данных и четыре разных метода сравнения лиц. Оцениваем полученные вероятности в различных условиях, включая пробы с небольшим разрешением, замылением, атмосферным туманом и скрывающими очки. #### Результаты Эксперименты показали, что наш подход дает надежные результаты для различных типов проб, в том числе низкокомпактных и поврежденных проб. Метрика точности классификации значительно превышает простой пороговый метод. Мы также проанализировали показатели классификации в разных демографических группах, убедившись, что наша модель не страдает от bias-а по расы и полам. Более того, результаты показали, что наш подход работает не только для простых матчеров, но и для более современных глубокосетевых лицовых матчеров, оптимизированных средствами margin-based loss functions. #### Значимость Предлагаемый подход может использоваться для оценки вероятности того, что результат просмотра одной лицовой галереи является маскирующим (Out-of-gallery). Это позволяет улучшить качество идентификации, снижая фальсификации и неточности, которые могут привести к ложноположительным случаям или несправедливым задержкам. Наш метод может быть применен в системах безопасности, правоохранительных органах и научных исследованиях. Мы также показали, что наш подход зависит от высокой степени сложности модели матчера и взаимосвязанных сложностей, что демонстрирует важность последних развитий в глубоко

Abstract

A central problem in one-to-many facial identification is that the person in the probe image may or may not have enrolled image(s) in the gallery; that is, may be In-gallery or Out-of-gallery. Past approaches to detect when a rank-one result is Out-of-gallery have mostly focused on finding a suitable threshold on the similarity score. We take a new approach, using the additional enrolled images of the identity with the rank-one result to predict if the rank-one result is In-gallery / Out-of-gallery. Given a gallery of identities and images, we generate In-gallery and Out-of-gallery training data by extracting the ranks of additional enrolled images corresponding to the rank-one identity. We then train a classifier to utilize this feature vector to predict whether a rank-one result is In-gallery or Out-of-gallery. Using two different datasets and four different matchers, we present experimental results showing that our approach is viable for mugshot quality probe images, and also, importantly, for probes degraded by blur, reduced resolution, atmospheric turbulence and sunglasses. We also analyze results across demographic groups, and show that In-gallery / Out-of-gallery classification accuracy is similar across demographics. Our approach has the potential to provide an objective estimate of whether a one-to-many facial identification is Out-of-gallery, and thereby to reduce false positive identifications, wrongful arrests, and wasted investigative time. Interestingly, comparing the results of older deep CNN-based face matchers with newer ones suggests that the effectiveness of our Out-of-gallery detection approach emerges only with matchers trained using advanced margin-based loss functions.

Ссылки и действия