A deep learning approach to track eye movements based on events
2508.04827v1
cs.CV, 68T05, 68T07, I.2.10; I.5.1; I.4.8; J.4
2025-08-09
Авторы:
Chirag Seth, Divya Naiken, Keyan Lin
Резюме на русском
Изучая сложности активного отслеживания движений глаз при помощи дешевых датчиков, авторы работы предложили моделировать движения глаз с использованием событий, поступающих с эвент-камер. Эта задача значительно усложняется из-за высокой скорости движения глаз — до 300°/с — требующихся высокочастотных датчиков. Основным результатом работы является модель CNN\_LSTM, предсказывающая положение центра глаза (x, y) с достаточной точностью — примерно 81%, применяясь к данным от эвент-камеры. Эта модель имеет широкие применения в жизненных сферах, включая VR и AR, где стоит задача улучшить комфорт и пользовательский опыт. Для повышения понимания работы модели, авторы предлагают в дальнейшем внедрять LRP (Layer-wise Relevance Propagation) для улучшения интерпретируемости решений.
Abstract
This research project addresses the challenge of accurately tracking eye
movements during specific events by leveraging previous research. Given the
rapid movements of human eyes, which can reach speeds of 300{\deg}/s, precise
eye tracking typically requires expensive and high-speed cameras. Our primary
objective is to locate the eye center position (x, y) using inputs from an
event camera. Eye movement analysis has extensive applications in consumer
electronics, especially in VR and AR product development. Therefore, our
ultimate goal is to develop an interpretable and cost-effective algorithm using
deep learning methods to predict human attention, thereby improving device
comfort and enhancing overall user experience. To achieve this goal, we
explored various approaches, with the CNN\_LSTM model proving most effective,
achieving approximately 81\% accuracy. Additionally, we propose future work
focusing on Layer-wise Relevance Propagation (LRP) to further enhance the
model's interpretability and predictive performance.