📊 Статистика дайджестов
Всего дайджестов: 34022 Добавлено сегодня: 82
Последнее обновление: сегодня
Авторы:
Jon E. Froehlich, Alexander Fiannaca, Nimer Jaber, Victor Tsara, Shaun Kane
## Контекст
Проблема доступности виртуальных стритвью-инструментов для слепых пользователей остается актуальной. Несмотря на распространенность сервисов типа Google Street View (GSV) и Meta Mapillary, они остаются недоступными для незрячих пользователей из-за отсутствия возможности визуального восприятия этих средств. Это затрудняет выполнение таких задач, как поиск места и рассмотрение виртуальной турологии. Было проведено несколько исследований по созданию доступных средств виртуального зрения, но они не решали все проблемы, включая недостаток контекстной информации и работы с голосовыми командами.
## Метод
StreetViewAI использует контекстно-активный мультимодальный подход, который объединяет три ключевых компонента: 1) контекстно-активный поиск объектов интереса (POI), 2) поддержка голосовых команд, 3) поддержку визуальной информации. Метод позволяет использовать голосовые команды для поиска и управления виртуальным зрением, чтобы предоставить пользователям независимость в навигации. Для обеспечения поддержки голосовых команд используется встроенный текстовый редактор и голосовая синтезированная речь.
## Результаты
На основе данных Google Street View и Meta Mapillary, StreetViewAI проводил эксперименты с 11 слепыми пользователями. Он продемонстрировал способность помочь пользователям в улучшении доступности и удобства виртуального зрения. Эксперименты показали, что пользователи могут эффективно использовать StreetViewAI для рассмотрения мест и планирования маршрутов. Эти результаты подтверждают ценность доступного виртуального стритвью для слепых пользователей.
## Значимость
StreetViewAI может использоваться в различных областях: 1) помощь в планировании маршрутов для слепых пользователей, 2) интерактивное виртуальное зрение для доступа к различным местам, 3) повышение уровня независимости в виртуальном окружении. Это может сделать эти средства более доступными для пользователей с ограниченными возможностями.
## Выводы
StreetViewAI является первым доступным виртуальным стритвью-инструментом, который использует контекстно-активный мультимодальный подход. Результаты экспериментов подтверждают ценность этого инструмента для повышения доступности. Будущие исследования будут сфокусированы на исследовании более широких потребностей слепых пользователей, включая поддержку более сложных задач виртуального зрения.
Annotation:
Interactive streetscape mapping tools such as Google Street View (GSV) and
Meta Mapillary enable users to virtually navigate and experience real-world
environments via immersive 360{\deg} imagery but remain fundamentally
inaccessible to blind users. We introduce StreetViewAI, the first-ever
accessible street view tool, which combines context-aware, multimodal AI,
accessible navigation controls, and conversational speech. With StreetViewAI,
blind users can virtually examine destinations, engage i...