Impact of Target and Tool Visualization on Depth Perception and Usability in Optical See-Through AR
2508.18481v1
cs.HC, cs.CV, cs.GR
2025-08-28
Авторы:
Yue Yang, Xue Xie, Xinkai Wang, Hui Zhang, Chiming Yu, Xiaoxian Xiong, Lifeng Zhu, Yuanyi Zheng, Jue Cen, Bruce Daniel, Fred Baik
Резюме на русском
#### Контекст
Оптические системы смешанной или масштабируемой реальности (OST-AR), такие как Microsoft HoloLens 2, показали себя как подходящие для применения в медицинских и производственных сферах, где требуется точное руководство в условиях ограниченного диапазона действий. Однако, существуют трудности в достижении точного диапазона глубины и восприятия между виртуальными и реальными объектами, что препятствует эффективному применению таких систем. В нашем исследовании были изучены эффекты различных стратегий визуализации целевого объекта и инструмента на восприятие глубины и системную эффективность в OST-AR.
#### Метод
Исследование основывалось на двух экспериментах, проводимых на HoloLens 2. В первом эксперименте (Experiment 1) проанализировали воздействие уровня прозрачности виртуального целевого объекта (высоко прозрачный vs. высоко опакный) на восприятие глубины при задаче сравнения глубины (depth matching task) при расстоянии около 1 метра. Во втором эксперименте (Experiment 2) проводилась симуляция сухопутного хирургического задания (simulated surgical task) на модели головы, где проанализировали влияние трех режимов визуализации инструмента (виртуальный тул, реальный инструмент или отсутствие визуализации) на три глубинных уровня целевого объекта. Использовали данные о глубинных ошибках, ошибках локализации, удобстве системы, нагрузке на пользователя и представлениях пользователей.
#### Результаты
В первом эксперименте было обнаружено, что высоко прозрачный целевой объект приводит к большим ошибкам в определении глубины по сравнению с высоко опакным. Во втором эксперименте, реальный инструмент, который окрылял виртуальный объект, привел к наибольшей точности и самой низкой нагрузке на пользователя. Не отслеживая инструмент, делали виртуальный объект слишком прозрачным и ухудшали глубинные знаний, что приводило к наибольшей нагрузке и меньшему удобству. Таким образом, важно учитывать корректные коллайдерные сигналы и стратегии визуализации, чтобы повысить точность в OST-AR.
#### Значимость
Наши результаты имеют значение для конструирования AR-систем, в которых необходимо достичь высокой точности в руководстве в расстоянии до рук. Оптимальные результаты достигаются при полной окрылении виртуальных объектов реальными инструментами. Это может повысить удобство и точность в таких областях, как медицинские операции и производственные процессы. Отсутствие визуализации инструмента или нежелательные транспарентности в целевых объектах могут привести к неточности и увеличению нагрузки на пользователя
Abstract
Optical see-through augmented reality (OST-AR) systems like Microsoft
HoloLens 2 hold promise for arm's distance guidance (e.g., surgery), but depth
perception of the hologram and occlusion of real instruments remain
challenging. We present an evaluation of how visualizing the target object with
different transparencies and visualizing a tracked tool (virtual proxy vs. real
tool vs. no tool tracking) affects depth perception and system usability. Ten
participants performed two experiments on HoloLens 2. In Experiment 1, we
compared high-transparency vs. low-transparency target rendering in a depth
matching task at arm's length. In Experiment 2, participants performed a
simulated surgical pinpoint task on a frontal bone target under six
visualization conditions ($2 \times 3$: two target transparencies and three
tool visualization modes: virtual tool hologram, real tool, or no tool
tracking). We collected data on depth matching error, target localization
error, system usability, task workload, and qualitative feedback. Results show
that a more opaque target yields significantly lower depth estimation error
than a highly transparent target at arm's distance. Moreover, showing the real
tool (occluding the virtual target) led to the highest accuracy and usability
with the lowest workload, while not tracking the tool yielded the worst
performance and user ratings. However, making the target highly transparent,
while allowing the real tool to remain visible, slightly impaired depth cues
and did not improve usability. Our findings underscore that correct occlusion
cues, rendering virtual content opaque and occluding it with real tools in real
time, are critical for depth perception and precision in OST-AR. Designers of
arm-distance AR systems should prioritize robust tool tracking and occlusion
handling; if unavailable, cautiously use transparency to balance depth
perception and tool visibility.
Ссылки и действия
Дополнительные ресурсы: