SimGenHOI: Physically Realistic Whole-Body Humanoid-Object Interaction via Generative Modeling and Reinforcement Learning

## Контекст Генерация реалистичных траекторий тела и рук роботов в условиях взаимодействия с предметами (Humanoid-Object Interaction, HOI) является ключевым заданием в области машинного обучения и робототехники. Однако существующие подходы часто сталкиваются с проблемами, такими как неприродные контакты, проникновения объектов во внутренние тела, неестественность движений, что сказывается на точности выполнения заданий. Эти недостатки ограничивают применение подобных моделей в реальных сценариях взаимодействия роботов с физическим окружением. ## Метод Мы предлагаем SimGenHOI — универсальную систему, которая объединяет мощь генерирующих моделей и управляемость систем управления подкреплением (Reinforcement Learning, RL). Модель генерации SimGenHOI, основанная на Diffusion Transformers, способна предсказывать ключевые движения, основанные на текстовых запросах, геометрии объекта, точечным описанию движения и начальной позе робота. Эти движения гладко интерполируются в общую траекторию. Для обеспечения физической реалистичности, мы разрабатываем политику управления, учитывающую контакты и полностью интегрирующуюся с моделью генерации. Для повышения качества и совместимости, мы применяем стратегию мультиметода, в которой модель и политика управления обучаются друг с другом, улучшая как реалистичность движений, так и их стабильность. ## Результаты Мы проводим эксперименты с различными сценариями HOI, в том числе с применением нескольких действий в течение длительного периода. Модель SimGenHOI продемонстрировала высокую точность и реалистичность траекторий движений, существенно превосходя при этом существующие алгоритмы по степени реалистичности и устойчивости движений. Данные эксперименты подтверждают возможность SimGenHOI генерировать движения, которые могут эффективно использоваться в практических задачах взаимодействия в физических условиях. ## Значимость Модель SimGenHOI может быть применена в области робототехники, визуальных систем, антропоморфного искусственного интеллекта и интерактивных систем. Она превосходит существующие подходы в реалистичности моделирования взаимодействий, что открывает перспективы для её применения в сценариях, требующих точности и безопасности, таких как роботизированные хирургические операции, роботизированные системы сервиса, а также в сфере искусственного интеллекта. ## Выводы Мы представляем SimGenHOI — первый полностью универсальный подход к генерации реалистичных траекторий взаимодействий роботов с предметами. Наши результаты показывают, что SimGenHOI может генерировать контролируемые, физически реалистичные