Action-Constrained Imitation Learning

## Контекст Robot-контрольные и ресурс-аллокационные приложения чрезвычайно важны для функционирования высокотехнологичных систем. Одним из ключевых аспектов этих приложений является обеспечение безопасности в ходе исполнения задач. Несмотря на то, что традиционные подходы к policy learning включают широкие действия, подобные поведение может привести к нежелательным результатам, таким как коллизии или ресурсовая неэффективность. Для решения этой проблемы было предложено введение action constraints, чтобы гарантировать строгую безопасность и эффективность. Однако внедрение action constraints в алгоритмы imitation learning не так просто и требует учета нескольких нюансов. В частности, существует проблема несоответствия occupancy measure между экспертом (который может действовать в более широком диапазоне действий) и imitator (который ограничен в action space). Это несоответствие требует новых подходов, чтобы эффективно обучать imitator при соблюдении action constraints. ## Метод Мы предлагаем новый подход к Action-Constrained Imitation Learning (ACIL), который называется DTWIL. Он основывается на методе Dynamic Time Warping (DTW) для решения проблемы несоответствия occupancy measure. Мы реализуем DTWIL в виде Model Predictive Control (MPC), что позволяет нам рекурсивно решать задачу безопасного и эффективного обучения. В DTWIL мы заменяем оригинальные данные эксперта на сгенерированные surrogate trajectories, которые более тесно адаптируются к action constraints imitator. Эти surrogate trajectories создаются путем поиска минимума DTW distance между экспертными и surrogate данными, чтобы гарантировать более близкий align со стационарными требованиями. Этот подход позволяет уменьшить разброс во взаимодействии с expert data и увеличить sample efficiency. ## Результаты Мы провели ряд экспериментов для оценки эффективности DTWIL. Тесты проводились на моделях robot control и resource allocation с разными action constraints. Для этих тестов мы использовали данные от эксперта с более широким action space, а также сгенерированные surrogate datasets. Модели, обученные с помощью DTWIL, показали значительное улучшение в sample efficiency и performance в сравнении с традиционными imitation learning algorithms, такими как GAIL и BC. Эти результаты подтверждают то, что DTWIL значительно улучшает надежность и эффективность обучения в ситуациях, когда action constraints применяются. ## Значимость DTWIL имеет широкие применения в сферах, где требуется обеспечение безопасности в robot-контроллере и ресурс-аллокационных системах. Например, в robotics, где необходимо избежать коллизий, и в resource-allocation applications, где требуется эффективное использование ресурсов. Наш подход позволяет не только обеспечить безопасность, но и увеличить sample efficiency, что является ключевым преимуществом в задачах, требующих быстрого обучения в реальном времени. ## Выводы Мы представили новый подход к Action-Constrained Imitation Learning, который решает проблему несоответ