Being-M0.5: A Real-Time Controllable Vision-Language-Motion Model

## Контекст Human motion generation становится все более критически важной технологией, с широким потенциалом для применений в реальной жизни. Однако, существующие vision-language-motion models (VLMMs) сталкиваются с затруднениями, которые становятся барьером для их реального применения. Основной проблемой является недостаточность контролируемости, выражающаяся в нескольких ключевых аспектах: несоответствие ответов к моделям различных пользовательских команд, ограниченная возможность инициализации поз, неустойчивость при работе с длинными последовательностями, некомплексное обращение с неизвестными сценариями, а также отсутствие точного управления отдельными частями тела. Наша работа адресует эти проблемы, стремясь создать модель, которая была бы реально временем, контролируемой и выдающей современные результаты на разных задачах моделирования мотиваций. ## Метод Мы предлагаем Being-M0.5, первую реально временную, контролируемую VLMM, которая достигает статуса лидера по многим критериям. Модель основывается на HuMo100M, самой крупной и многофункциональной базе данных подвижных сценариев. Она содержит более 5 миллионов подвижных последовательностей, 100 миллионов учебных заданий по многозадачности и частноуровневые аннотации, решающие ключевые проблемы существующих ресурсов. Мы внедрили новый part-aware residual quantization метод для токенизации движений, что позволяет гранулярно управлять каждой частью тела в процессе генерации. Таким образом, мы достигаем высокой точности и контроля, что отсутствовало в предыдущих моделях. ## Результаты Мы провели широкомасштабные эксперименты на различных бенчмарках для подвижных последовательностей. Being-M0.5 показала стабильно высокую точность и качество генерируемых последовательностей, превосходя конкурентные модели. Были проведены также тесты на реальном времени, подтвердив, что модель успешно работает в условиях реального применения. Мы также проанализировали эффективность нашего подхода, подтвердив, что Being-M0.5 умеет эффективно работать, не теряя в качестве результата. Эти результаты подтверждают то, что Being-M0.5 является надежным инструментом для реальных задач, включая виртуальную реальность, анимацию и другие прикладные сценарии. ## Значимость Предлагаемая модель может применяться во многих областях, от виртуальных миров и анимации до робототехники и систем управления. Она предлагает существенные преимущества, включая точность, контрольность и реальновременность, которые отсутствовали в предыдущих моделях. Наш подход открывает новые возможности для развития технологий в области моделирования поведения, которые могут