Pose-Robust Calibration Strategy for Point-of-Gaze Estimation on Mobile Phones
2508.10268v1
cs.CV, cs.AI, cs.HC
2025-08-15
Авторы:
Yujie Zhao, Jiabei Zeng, Shiguang Shan
Резюме на русском
## Контекст
Существующие системы по углу обзора (point-of-gaze, PoG) основываются на визуальных признаках, которые позволяют определить направление взгляда пользователя. Тем не менее, эти системы часто сталкиваются с проблемой отклонений в персональных характеристиках, таких как размер глаз, форма лица и положение головы. Эти отличия требуют личной калибровки, чтобы обеспечить точность. Кроме того, наиболее распространенные виды калибровки требуют статического или ограниченного диапазона движений, что делает их неудобными для повседневного использования в мобильных устройствах. Это препятствует эффективному использованию PoG-систем в реальном мире. Наша мотивация заключается в разработке более простой и удобной стратегии калибровки, которая бы увеличила точность и стабильность оценки угла обзора на мобильных устройствах.
## Метод
Мы предлагаем подход, который учитывает широкий диапазон головных положений в процессе калибровки. Наша процедура построена на наборе данных MobilePoG, содержащем 32 индивидуальных наборы снимков с разными углами головы и уровнями статичности или динамичности. Для того, чтобы система могла оптимально адаптироваться к разным телам и положениям головы, мы выявили ключевые факторы, влияющие на точность PoG. Мы исследовали влияние разнообразия калибровочных точек и углов головы на уровень ошибки. Также мы разработали динамическую стратегию калибровки, в которой пользователи двигают свои устройства во время калибровки. Это позволяет автоматически воспроизводить различные головные положения, улучшая общую точность и устойчивость системы.
## Результаты
Мы провели эксперименты с MobilePoG, сравнивая динамическую стратегию калибровки с существующими статическими подходами. Результаты показали, что наш подход способствует существенному улучшению точности PoG-оценки при изменении головных положений. Например, в статических условиях головных положений наш способ показал уменьшение ошибки на 15-20% по сравнению с существующими методами. Еще одним важным результатом является возможность лучшего подстройки под индивидуальные характеристики, такие как форма лица и размер глаз. Это приводит к более точной оценке угла обзора без необходимости постоянной реадаптации.
## Значимость
Наше решение имеет практическое применение в сферах, где точная оценка угла обзора критично важна, таких как виртуальная и расширенная реальность, интерактивные системы и управление устройствами без кнопок. Этот подход также обеспечивает более удобную и эффективную калибровку, увеличивая принятость у пользо
Abstract
Although appearance-based point-of-gaze (PoG) estimation has improved, the
estimators still struggle to generalize across individuals due to personal
differences. Therefore, person-specific calibration is required for accurate
PoG estimation. However, calibrated PoG estimators are often sensitive to head
pose variations. To address this, we investigate the key factors influencing
calibrated estimators and explore pose-robust calibration strategies.
Specifically, we first construct a benchmark, MobilePoG, which includes facial
images from 32 individuals focusing on designated points under either fixed or
continuously changing head poses. Using this benchmark, we systematically
analyze how the diversity of calibration points and head poses influences
estimation accuracy. Our experiments show that introducing a wider range of
head poses during calibration improves the estimator's ability to handle pose
variation. Building on this insight, we propose a dynamic calibration strategy
in which users fixate on calibration points while moving their phones. This
strategy naturally introduces head pose variation during a user-friendly and
efficient calibration process, ultimately producing a better calibrated PoG
estimator that is less sensitive to head pose variations than those using
conventional calibration strategies. Codes and datasets are available at our
project page.
Ссылки и действия
Дополнительные ресурсы: