Pose-Robust Calibration Strategy for Point-of-Gaze Estimation on Mobile Phones

2508.10268v1 cs.CV, cs.AI, cs.HC 2025-08-15
Авторы:

Yujie Zhao, Jiabei Zeng, Shiguang Shan

Резюме на русском

## Контекст Существующие системы по углу обзора (point-of-gaze, PoG) основываются на визуальных признаках, которые позволяют определить направление взгляда пользователя. Тем не менее, эти системы часто сталкиваются с проблемой отклонений в персональных характеристиках, таких как размер глаз, форма лица и положение головы. Эти отличия требуют личной калибровки, чтобы обеспечить точность. Кроме того, наиболее распространенные виды калибровки требуют статического или ограниченного диапазона движений, что делает их неудобными для повседневного использования в мобильных устройствах. Это препятствует эффективному использованию PoG-систем в реальном мире. Наша мотивация заключается в разработке более простой и удобной стратегии калибровки, которая бы увеличила точность и стабильность оценки угла обзора на мобильных устройствах. ## Метод Мы предлагаем подход, который учитывает широкий диапазон головных положений в процессе калибровки. Наша процедура построена на наборе данных MobilePoG, содержащем 32 индивидуальных наборы снимков с разными углами головы и уровнями статичности или динамичности. Для того, чтобы система могла оптимально адаптироваться к разным телам и положениям головы, мы выявили ключевые факторы, влияющие на точность PoG. Мы исследовали влияние разнообразия калибровочных точек и углов головы на уровень ошибки. Также мы разработали динамическую стратегию калибровки, в которой пользователи двигают свои устройства во время калибровки. Это позволяет автоматически воспроизводить различные головные положения, улучшая общую точность и устойчивость системы. ## Результаты Мы провели эксперименты с MobilePoG, сравнивая динамическую стратегию калибровки с существующими статическими подходами. Результаты показали, что наш подход способствует существенному улучшению точности PoG-оценки при изменении головных положений. Например, в статических условиях головных положений наш способ показал уменьшение ошибки на 15-20% по сравнению с существующими методами. Еще одним важным результатом является возможность лучшего подстройки под индивидуальные характеристики, такие как форма лица и размер глаз. Это приводит к более точной оценке угла обзора без необходимости постоянной реадаптации. ## Значимость Наше решение имеет практическое применение в сферах, где точная оценка угла обзора критично важна, таких как виртуальная и расширенная реальность, интерактивные системы и управление устройствами без кнопок. Этот подход также обеспечивает более удобную и эффективную калибровку, увеличивая принятость у пользо

Abstract

Although appearance-based point-of-gaze (PoG) estimation has improved, the estimators still struggle to generalize across individuals due to personal differences. Therefore, person-specific calibration is required for accurate PoG estimation. However, calibrated PoG estimators are often sensitive to head pose variations. To address this, we investigate the key factors influencing calibrated estimators and explore pose-robust calibration strategies. Specifically, we first construct a benchmark, MobilePoG, which includes facial images from 32 individuals focusing on designated points under either fixed or continuously changing head poses. Using this benchmark, we systematically analyze how the diversity of calibration points and head poses influences estimation accuracy. Our experiments show that introducing a wider range of head poses during calibration improves the estimator's ability to handle pose variation. Building on this insight, we propose a dynamic calibration strategy in which users fixate on calibration points while moving their phones. This strategy naturally introduces head pose variation during a user-friendly and efficient calibration process, ultimately producing a better calibrated PoG estimator that is less sensitive to head pose variations than those using conventional calibration strategies. Codes and datasets are available at our project page.

Ссылки и действия