Will You Be Aware? Eye Tracking-Based Modeling of Situational Awareness in Augmented Reality
2508.05025v1
cs.LG, cs.HC
2025-08-09
Авторы:
Zhehan Qu, Tianyi Hu, Christian Fronk, Maria Gorlatova
Резюме на русском
**Резюме**
В Augmented Reality (AR) системах, улучшающих задачу через реальноходную навигацию, существует риск вызвать когнитивное ангажирование, приводящее к потере ситуационного осознания (SA) в критичных ситуациях. В данной работе рассматривается SA в AR-гидрованных мероприятиях по крдиопомповой ресусцитации (CPR), где ответчик должен консервать эффективные компрессии и следить за непредсказуемыми рисками (например, возможным вмешательством). Мы разработали AR-приложение на Magic Leap 2, которое отображает реальному времени компрессии глубину и скорость, и провели исследование с участием пользователей, в котором симулировали непредвиденные ситуации (например, кровотечение). Метрики SA были определены с помощью наблюдений и опросов во время замороженных моментов. Анализ треков взгляда показал, что высокие уровни SA сочетаются с более сильными и краткими саккадами, а также с меньшим процентом и частотой фиксаций на виртуальном содержании. Мы предложили FixGraphPool, графовую нейронную сеть, которая строит динамические модели SA на основе графов спацио-временных данных глаза. Наш алгоритм показал 83.0% точность (F1=81.0%), превосходя временные ряды и машинное обучение. Эти результаты демонстрируют потенциал треков взгляда для моделирования SA в AR и его применение в создании безопасных AR-систем.
Abstract
Augmented Reality (AR) systems, while enhancing task performance through
real-time guidance, pose risks of inducing cognitive tunneling-a hyperfocus on
virtual content that compromises situational awareness (SA) in safety-critical
scenarios. This paper investigates SA in AR-guided cardiopulmonary
resuscitation (CPR), where responders must balance effective compressions with
vigilance to unpredictable hazards (e.g., patient vomiting). We developed an AR
app on a Magic Leap 2 that overlays real-time CPR feedback (compression depth
and rate) and conducted a user study with simulated unexpected incidents (e.g.,
bleeding) to evaluate SA, in which SA metrics were collected via observation
and questionnaires administered during freeze-probe events. Eye tracking
analysis revealed that higher SA levels were associated with greater saccadic
amplitude and velocity, and with reduced proportion and frequency of fixations
on virtual content. To predict SA, we propose FixGraphPool, a graph neural
network that structures gaze events (fixations, saccades) into spatiotemporal
graphs, effectively capturing dynamic attentional patterns. Our model achieved
83.0% accuracy (F1=81.0%), outperforming feature-based machine learning and
state-of-the-art time-series models by leveraging domain knowledge and
spatial-temporal information encoded in ET data. These findings demonstrate the
potential of eye tracking for SA modeling in AR and highlight its utility in
designing AR systems that ensure user safety and situational awareness.
Ссылки и действия
Дополнительные ресурсы: