DETACH: Cross-domain Learning for Long-Horizon Tasks via Mixture of Disentangled Experts

## Контекст В области Human-Scene Interaction (HSI) существуют сложные задачи с длительным горизонтом (Long-Horizon, LH), требующие комплексного планирования, последовательного принятия решений и продолжительного выполнения действий. Такие задачи часто состоят из нескольких этапов, которые требуют грамотной координации потоков данных и выполнения задач в различных сценарных условиях. Однако, существующие методы, основывающиеся на цепочках умений (skill chaining), обучаются независимо для каждой подзадачи, что приводит к ограниченной мобильности между разными сценариями. Более того, эти методы не могут эффективно обрабатывать новые комбинации среды и задач, что приводит к недостаточной универсальности. Мотивация для настоящего исследования заключается в создании метода, который мощно решал бы эти проблемы, обеспечивая высокую гибкость и общую эффективность в ряде сложных LH-задач. ## Метод Для решения этих проблем предложена модель **DETACH** (Cross-Domain Learning for Long-Horizon Tasks via Mixture of Disentangled Experts). Она основывается на двух модулях: 1. **Module среды (Environment Learning Module)**: Отвечает за понимание пространственных свойств среды, таких как функции объектов, их взаимосвязи, а также семантические характеристики сцены. Данный модуль разделяет среду от состояния самого агента, позволяя достичь эффективного переноса среды в различные домены. 2. **Module действий (Skill Learning Module)**: Отвечает за выполнение задач, обрабатывая самостоятельно состояние субъекта, включая жесты моторных систем и движения. Этот модуль предоставляет возможность переноса навыков между различными задачами, независимо от среды. Для обеспечения эффективного комбинирования этих модулей в DETACH используется биологически вдохновленная модель "where-what", что позволяет динамически адаптироваться к новым задачам и сценариям. ## Результаты В ходе экспериментов было продемонстрировано, что DETACH увеличивает среднюю успешность выполнения подзадач на 23% в сравнении с существующими методами. Более того, эффективность выполнения задач улучшилась на 29%, что значительно сократило время завершения задач. Эти результаты были получены на различных сценариях HSI, включая задачи с разными уровнями сложности и различными характеристиками сред. Это свидетельствует о том, что DETACH получил высокую гибкость и может эффективно решать задачи в разных условиях. ## Значимость DETACH может быть применен в различных областях, таких как робототехника, интерактивные среды, а также в сфере обучения машин с целью решения LH-задач. Основное преимущество DETACH заключается в его универсальности и мощности в обработке новых сценариев с минимальным обучением. Это позволяет