EgoTouch: On-Body Touch Input Using AR/VR Headset Cameras

## Контекст В последние годы, виртуальная (VR) и аugmented (AR) реальность получили широкую популярность в различных областях, включая развлечения, образование и профессиональные приложения. Однако интерактивные возможности этих технологий ограничены возможностями существующих интерфейсов. Несмотря на то, что воздушные интерфейсы широко используются, они часто связаны с проблемами, такими как неточность, медленная реакция и усталость пользователя. Однако научные исследования показали, что интерактивные элементы на теле пользователя могут значительно улучшить эффективность и комфорт интеракции. Несмотря на подтверждение этих преимуществ, на практике не существуют эффективных и надежных способов реализации таких интерфейсов. Наше исследование направлено на развитие новых технологий для решения этих проблем. ## Метод Мы предлагаем метод интерактивного взаимодействия с использованием RGB-камеры, уже интегрированной в современные XR-гаджеты. Наш подход основывается на обучению сети, которая анализирует поток видео и определяет положение пальцев и рук пользователя. Мы разработали уникальную архитектуру, которая включает в себя несколько составляющих: (1) распознавание пальцев, (2) определение положения руки, (3) принудительную метрику, а также (4) определение типа жестикуляции. Для обучения сети мы использовали синтетические данные, а тестирование проводилось на реальных экспериментах с разными участниками, которые выполняли различные действия. ## Результаты Мы провели испытания с 15 участниками, сравнивая нашу технологию с существующими решениями. Наши результаты показали, что наш метод обеспечивает высокую точность распознавания интерфейса, независимо от условий освещения, кожных тонов и даже при движении пользователя. В зависимости от метода, точность распознавания варьировалась от 92% до 98%. Мы также испытали нашу систему в разных условиях и показали, что она может работать на уровне с лучшими системами в этой области. ## Значимость Наша технология имеет широкие возможности для интеграции в существующие AR/VR-системы. Она может быть использована в различных приложениях, включая игры, профессиональные инструменты, интерактивные интерфейсы и т.д. Благодаря точности и надежности, наш метод может стать ключевым моментом в развитии новых интерактивных интерфейсов. Мы также считаем, что наш подход может открыть новые возможности для разработки более эффективных и интерактивных технологий в повседневной жизни. ## Выводы Мы привёл результаты экспериментов, подтверждающие эффе