## Контекст Многие современные системы виртуальной и расширенной реальности (МР/МХР) стремятся обеспечить удобный и интерактивный интерфейс для взаимодействия с цифровыми ресурсами. Одним из проблематичных аспектов является возможность точного распознавания тача на разных поверхностях, не оборудованных специальными датчиками. Этот вопрос имеет практическое значение для развития МР/МХР, так как виртуальные интерфейсы, привязанные к физическим поверхностям, обеспечивают более высокую эргономику и производительность, нежели виртуальные интерфейсы, держащиеся в воздухе. Однако существующие методы часто требуют дорогостоящего оборудования или ограничены в их применении к определенным условиям. Наша работа стремится решить эти проблемы, вводя новую методику под названием **EclipseTouch**, которая использует носимое устройство для создания и анализа тени для точного распознавания тача. ## Метод **EclipseTouch** использует компьютер-управляемую камеру и один или несколько иррадиирующих источников света. Эти источники генерируют структурированные тени, которые меняются в зависимости от того, как пользователь взаимодействует с поверхностью. Мы используем логику тени для определения двух ключевых параметров: **hover distance** (расстояние между пальцем и поверхностью при только перерывном контакте) и **touch contact** (точное расположение касания). Метод работает посредством анализа размытости и температурных изменений в сгенерированных тенях. Архитектура EclipseTouch включает модуль для предварительной обработки сигналов, модуль для определения расстояния и контакта, а также модуль для подавления шумов и мелких движений. ## Результаты Мы проводили ряд экспериментов для оценки точности и устойчивости нашего подхода. Использовались различные материалы поверхностей (дерево, металл, пластик) и различные условия света (естественное, искусственное). Результаты показали, что EclipseTouch обеспечивает следующие показатели: **hover distance** с усредненной ошибкой в 6.9 мм, **touch contact** с точностью 98.0%. Эти результаты достигаются независимо от материала поверхности и условий освещения, что делает нашу методику очень универсальной. Также проводились сравнительные эксперименты с другими существующими технологиями, в результате которых EclipseTouch показала значительное превосходство в точности и удобстве. ## Значимость Наша работа имеет большое значение в области МР/МХР, так как она позволяет расширить возможности взаимодействия с пользователем на ранее недоступных поверхностях. Это открывает путь к новым интерактивным решениям в области управления устро

## Контекст Область трекинга мышечных поз пользователя находится в сердце многих технологических достижений, включая тренировки, реабилитацию, ввод в аugmented reality, life logging и контекстно-ауктуальные системы помощи. Однако существующие решения либо ограничены в области применения, либо сопряжены с значимыми проблемами. Например, системы, использующие камеры, испытывают серьезные затруднения в обеспечении приватности. Альтернативные методы, основанные на нескольких надетовшихся IMU-устройствах или маркерах, требуют дорогостоящего оборудования и не всегда гибки в использовании. Мы подходим к этой проблеме с целью использовать доступное потребительское оборудование, в частности смартфоны и смарт-часы, для точного определения позы рук. Данная технология может потребоваться во многих сферах, включая фитнес-приложения и контекстно-ауктуальные системы. ## Метод Мы разработали систему SmartPoser, которая использует две основные компоненты: смартфон и смарт-час. Эти устройства совмещают данные от датчиков IMU (импульсных датчиков движения) и новой функции UWB (ultra-wideband, интерфейс для точных измерений абсолютных расстояний). Мы применяем метод, который объединяет данные UWB и IMU для точного вычисления положения руки. IMU-данные оказываются эффективными для отслеживания движения в пространстве, но существуют проблемы с дрёмлей. В то же время UWB позволяет определить абсолютное расстояние между двумя устройствами, обеспечивая более точное определение места расположения. Мы использовали технологию оценки позы в реальном времени, объединяя эти источники данных. ## Результаты Мы проводили эксперименты, чтобы оценить точность системы SmartPoser. Мы использовали широкий спектр движений рук, включая простые и сложные позы. Результаты показали, что наш метод дает median positional error of 11.0~cm при оценке расположения руки и cotovelo в реальном времени. Это достижение было получено без необходимости создания пользовательских данных для обучения, что делает нашу систему более удобной и гибкой. ## Значимость Наша система обладает широкими приложениями в различных сферах. Например, она может использоваться в fitness-приложениях для отслеживания упражнений, в системах реабилитации для отслеживания движений пациентов, в augmented reality для точного ввода, а также в life logging для подробного слежения за движениями. Преимуществом нашего подхода является то, что он не требует дополнительных устройств или определенной подготовки, что делает его более доступным для пользователей. Также, наш метод имеет перспективу для дальнейшего развития, включая улучшение точности

#### Контекст Оптические системы смешанной или масштабируемой реальности (OST-AR), такие как Microsoft HoloLens 2, показали себя как подходящие для применения в медицинских и производственных сферах, где требуется точное руководство в условиях ограниченного диапазона действий. Однако, существуют трудности в достижении точного диапазона глубины и восприятия между виртуальными и реальными объектами, что препятствует эффективному применению таких систем. В нашем исследовании были изучены эффекты различных стратегий визуализации целевого объекта и инструмента на восприятие глубины и системную эффективность в OST-AR. #### Метод Исследование основывалось на двух экспериментах, проводимых на HoloLens 2. В первом эксперименте (Experiment 1) проанализировали воздействие уровня прозрачности виртуального целевого объекта (высоко прозрачный vs. высоко опакный) на восприятие глубины при задаче сравнения глубины (depth matching task) при расстоянии около 1 метра. Во втором эксперименте (Experiment 2) проводилась симуляция сухопутного хирургического задания (simulated surgical task) на модели головы, где проанализировали влияние трех режимов визуализации инструмента (виртуальный тул, реальный инструмент или отсутствие визуализации) на три глубинных уровня целевого объекта. Использовали данные о глубинных ошибках, ошибках локализации, удобстве системы, нагрузке на пользователя и представлениях пользователей. #### Результаты В первом эксперименте было обнаружено, что высоко прозрачный целевой объект приводит к большим ошибкам в определении глубины по сравнению с высоко опакным. Во втором эксперименте, реальный инструмент, который окрылял виртуальный объект, привел к наибольшей точности и самой низкой нагрузке на пользователя. Не отслеживая инструмент, делали виртуальный объект слишком прозрачным и ухудшали глубинные знаний, что приводило к наибольшей нагрузке и меньшему удобству. Таким образом, важно учитывать корректные коллайдерные сигналы и стратегии визуализации, чтобы повысить точность в OST-AR. #### Значимость Наши результаты имеют значение для конструирования AR-систем, в которых необходимо достичь высокой точности в руководстве в расстоянии до рук. Оптимальные результаты достигаются при полной окрылении виртуальных объектов реальными инструментами. Это может повысить удобство и точность в таких областях, как медицинские операции и производственные процессы. Отсутствие визуализации инструмента или нежелательные транспарентности в целевых объектах могут привести к неточности и увеличению нагрузки на пользователя