OVGrasp: Open-Vocabulary Grasping Assistance via Multimodal Intent Detection

## Контекст Очень важной задачей в современной медицине и технологиях помощи дисабилитетам является восстановление автономии движений у людей с моторными ограничениями. Особенно трудной областью является ситуация в неструктурированных окружениях, где объекты и поведение пользователя могут быть разнообразными и непредсказуемыми. Grasping assistance (помощь в захват) заключается в помощи изготовления захвата руки для подхвата и удержания предметов. Однако существующие системы часто ограничены возможностями распознавания конкретных категорий предметов или использования фиксированных команд. Это неэффективно в условиях неопределенности и специфики открытых пространств. Целью данного исследования является разработка нового подхода к сенсорному захвату, который может работать в различных ситуациях и не требует предварительной подготовки к распознаванию конкретных предметов. ## Метод Предлагаемая система, OVGrasp (Open-Vocabulary Grasping Assistance), использует краткие текстовые подсказки – open-vocabulary prompts – и голосовые команды, чтобы взаимодействовать с объектами в реальном времени. Основой системы является подход, основанный на визуальном анализе RGB-D изображений и текстовых описаний, что позволяет использовать расширенную модель видения-языка (Vision-Language Foundation Model). Механизм распознавания неизвестных объектов в режиме zero-shot делает систему универсальной и без необходимости повторного обучения. Для определения желаемых действий (захват или отпускание), система использует многомодальный групповой алгоритм, который объединяет визуальные и языковые сигналы для точного определения поведенческой мотивации. Такой подход позволяет использовать OVGrasp в различных ситуациях, где требуется самостоятельность в работе с неизвестными предметами. ## Результаты Оценки OVGrasp проводились на 15 различных предметах, разделенных на три категории захвата: прямой захват, подхват с выше и подхват с низу. Использовались данные 10 участников с разными уровнями опыта взаимодействия с технологией. Основной метрикой стала Grasping Ability Score (GAS), отражающая степень успешности захвата. Оценка GAS составила 87.00%, что превышает результаты существующих алгоритмов. Также была замечена повышенная точность в движениях, что является ключевым преимуществом для создания более натуральных движений. Эти результаты показывают высокую эффективность OVGrasp в условиях повседневного использования. ## Значимость Разработанная система имеет широкие возможности применения в сфере медицины, помощи немоторным людям и робототехнике. Ос