Are you In or Out (of gallery)? Wisdom from the Same-Identity Crowd
2508.06357v1
cs.CV, cs.AI
2025-08-12
Авторы:
Aman Bhatta, Maria Dhakal, Michael C. King, Kevin W. Bowyer
Резюме на русском
#### Контекст
Одна из основных проблем в системах однонаправленного лицового распознавания — определение, принадлежит ли пробельное лицо (отсутствующее в галерее) к одному из идентификационных образов в галерее или нет. Традиционные методы, основывающиеся на сравнении лиц с галереи, часто применяют простую треугольную формулу для выявления подходящего порога сходства. Однако этот подход может привести к неточным оценкам, особенно в условиях низкого качества пробы. Наша исследовательская группа предлагает новый подход, использующий дополнительные идентификационные изображения одного идентификационного образа для классификации результатов распознавания как "в галерее" или "не в галерее".
#### Метод
Для построения модели классификации мы строим выборку In-gallery и Out-of-gallery с использованием дополнительных изображений зарегистрированных в галерее для определенного идентификационного образа. Эти изображения затем используются для создания признакового вектора, отражающего порядок регистрации изображений в галерее. Этот вектор вводится в классификатор, который выводит вероятность того, что результат распознавания (rank-one) — In-gallery или Out-of-gallery. Мы использовали два разных набора данных и четыре разных метода сравнения лиц. Оцениваем полученные вероятности в различных условиях, включая пробы с небольшим разрешением, замылением, атмосферным туманом и скрывающими очки.
#### Результаты
Эксперименты показали, что наш подход дает надежные результаты для различных типов проб, в том числе низкокомпактных и поврежденных проб. Метрика точности классификации значительно превышает простой пороговый метод. Мы также проанализировали показатели классификации в разных демографических группах, убедившись, что наша модель не страдает от bias-а по расы и полам. Более того, результаты показали, что наш подход работает не только для простых матчеров, но и для более современных глубокосетевых лицовых матчеров, оптимизированных средствами margin-based loss functions.
#### Значимость
Предлагаемый подход может использоваться для оценки вероятности того, что результат просмотра одной лицовой галереи является маскирующим (Out-of-gallery). Это позволяет улучшить качество идентификации, снижая фальсификации и неточности, которые могут привести к ложноположительным случаям или несправедливым задержкам. Наш метод может быть применен в системах безопасности, правоохранительных органах и научных исследованиях. Мы также показали, что наш подход зависит от высокой степени сложности модели матчера и взаимосвязанных сложностей, что демонстрирует важность последних развитий в глубоко
Abstract
A central problem in one-to-many facial identification is that the person in
the probe image may or may not have enrolled image(s) in the gallery; that is,
may be In-gallery or Out-of-gallery. Past approaches to detect when a rank-one
result is Out-of-gallery have mostly focused on finding a suitable threshold on
the similarity score. We take a new approach, using the additional enrolled
images of the identity with the rank-one result to predict if the rank-one
result is In-gallery / Out-of-gallery. Given a gallery of identities and
images, we generate In-gallery and Out-of-gallery training data by extracting
the ranks of additional enrolled images corresponding to the rank-one identity.
We then train a classifier to utilize this feature vector to predict whether a
rank-one result is In-gallery or Out-of-gallery. Using two different datasets
and four different matchers, we present experimental results showing that our
approach is viable for mugshot quality probe images, and also, importantly, for
probes degraded by blur, reduced resolution, atmospheric turbulence and
sunglasses. We also analyze results across demographic groups, and show that
In-gallery / Out-of-gallery classification accuracy is similar across
demographics. Our approach has the potential to provide an objective estimate
of whether a one-to-many facial identification is Out-of-gallery, and thereby
to reduce false positive identifications, wrongful arrests, and wasted
investigative time. Interestingly, comparing the results of older deep
CNN-based face matchers with newer ones suggests that the effectiveness of our
Out-of-gallery detection approach emerges only with matchers trained using
advanced margin-based loss functions.
Ссылки и действия
Дополнительные ресурсы: