HHI-Assist: A Dataset and Benchmark of Human-Human Interaction in Physical Assistance Scenario

2509.10096v1 cs.RO, cs.CV 2025-09-16
Авторы:

Saeed Saadatnejad, Reyhaneh Hosseininejad, Jose Barreiros, Katherine M. Tsui, Alexandre Alahi

Резюме на русском

## Контекст Рост заболеваемости, старения населения и нехватка персонала в сфере здравоохранения приводят к необходимости развития ассистивных роботов, которые могли бы оказывать поддержку в физических задачах. Однако для того, чтобы эти роботы могли выполнять помощь безопасно и эффективно, необходимо точно предсказывать поведение людей во время физических взаимодействий. Это задача остается сложной из-за разнообразия ситуаций использования, вовлеченности различных динамических связей между людьми во время взаимодействия. Мы предлагаем решение на основе создания нового высококачественного датасета и инновационного моделирования с использованием трансформера. Это позволит улучшить понимание и моделирование физического взаимодействия, чтобы улучшить точность и доверие ассистивных роботов. ## Метод Мы предлагаем HHI-Assist, новый датасет, включающий моментовные съемки взаимодействий между людьми во время физических помощных потребностей. Для предсказания динамики взаимодействий мы разработали принципиально новую модель, основанную на улучшенной трансформерной архитектуре. Эта модель использует подход denoising diffusion, который позволяет эффективно предсказывать положения взаимодействующих субъектов. Мы использовали множество физических данных, чтобы обучить модель, чтобы она могла точно предсказать поведение в различных условиях. Модель также решает проблему необходимости выявления и моделирования связей между людьми, что делает ее уникальной и эффективной. ## Результаты Мы проверили нашу модель на HHI-Assist и сравнили ее с другими подходами. Результаты были захватывающими: наша модель не только выдавала более точные результаты в предсказании движений, но и показывала значительно более высокую универсальность в неизвестных сценариях. Мы провели исследования, включая различные типы помощных действий, и продемонстрировали, что модель показывает лучшие результаты в отношении точности и устойчивости. Эти результаты подтверждают, что наш подход может стать ключевым во внедрении роботов в сферу помощи в физических задачах. ## Значимость Мы видим, что наш подход может быть применен в различных сферах, включая здравоохранение, социальные услуги и роботизированные системы в жилых помещениях. Важность нашей работы заключается в том, что она не только улучшает предсказание движений, но также предоставляет новые возможности для развития роботов в сфере помощи. Мы видим возможность применения нашего решения для улучшения качества жизни, особенно для старшего поколения. Наша модель может стать основой для развития будущих

Abstract

The increasing labor shortage and aging population underline the need for assistive robots to support human care recipients. To enable safe and responsive assistance, robots require accurate human motion prediction in physical interaction scenarios. However, this remains a challenging task due to the variability of assistive settings and the complexity of coupled dynamics in physical interactions. In this work, we address these challenges through two key contributions: (1) HHI-Assist, a dataset comprising motion capture clips of human-human interactions in assistive tasks; and (2) a conditional Transformer-based denoising diffusion model for predicting the poses of interacting agents. Our model effectively captures the coupled dynamics between caregivers and care receivers, demonstrating improvements over baselines and strong generalization to unseen scenarios. By advancing interaction-aware motion prediction and introducing a new dataset, our work has the potential to significantly enhance robotic assistance policies. The dataset and code are available at: https://sites.google.com/view/hhi-assist/home

Ссылки и действия