FUNCanon: Learning Pose-Aware Action Primitives via Functional Object Canonicalization for Generalizable Robotic Manipulation

## Контекст Проблема заключается в том, что general-purpose robotic skills, натренированные с использованием end-to-end демонстраций, часто приводят к task-specific политикам, которые не могут генерализоваться за пределы выделенного тренировочного набора данных. Это ограничивает эффективность и общую пригодность robotic manipulation-based frameworks. Требуется решение, которое позволит формировать задачи, ориентированные на поведение, но не зависящие от конкретных конфигураций объектов или сценариев. Такой подход может улучшить generalization, позволить повторно использовать политики и обеспечить простоту в learning и deployment. ## Метод FunCanon предлагает фрагментировать long-horizon manipulation tasks в последовательности акторов, видов действий и объектов. Это позволяет сосредоточиться на поведенческих primitives, а не на конкретных task-specific действиях. Далее, FunCanon применяет functional object canonicalization для functional alignment и trajectory transfer. Здесь, affordance cues из больших vision-language моделей используются для того, чтобы модифицировать и mapping objects в shared functional frames. Это обеспечивает pose-aware и category-general policies, которые учитывают object affordances и poses. Для получения данных для этого подхода используется object-centric и action-centric diffusion policy FuncDiffuser. ## Результаты В ходе экспериментов, использовавшихся данных включились виртуальные и real-world бенчмарки с manipulation tasks. FunCanon продемонстрировал category-level generalization, cross-task behavior reuse и robust sim2real deployment. Это подтверждает, что functional canonicalization дает сильный inductive bias для scalable imitation learning в сложных manipulation domains. На проектной странице https://sites.google.com/view/funcanon доступны демонстрации и дополнительные материалы. ## Значимость Решение может быть использовано в области robotic manipulation для обеспечения generalization и scalability. Оно позволяет повторно использовать поведенческие primitives в разных сценариях, упрощая learning и deployment. Такой подход может быть применен в различных сферах, таких как manufacturing, logistics и роботизированные households. ## Выводы В ходе исследования был предложен FunCanon, подход, который фрагментирует manipulation tasks в primitives, используя functional canonicalization для pose-aware и category-general policies. Это позволяет решать задачи с высокой generalization и cross-task behavior reuse. Будущие исследования могут быть направлены на улучшение diffusion policy для более лучшего deployment в real-world environments.