Pushdown Reward Machines for Reinforcement Learning

## Контекст Решение проблем в многих прикладных областях требует эффективного использования методов управления, в которых мотивация поведения агента определяется целевыми функциями. Одним из подходов является управление с поощрениями (Reinforcement Learning, RL). Однако, обычные модели RL не всегда подходят для задач, требующих учета временных структур в поведении агента. Одним из решений этой проблемы является использование Reward Machines (RMs), которые могут представлять сложные целевые функции в виде регулярных языков. Тем не менее, существуют задачи, требующие учета более высокоуровневых структур, которые находятся за пределами возможностей RMs. Таким образом, целью исследования является расширение моделей RL, чтобы они могли эффективно решать такие задачи. ## Метод Pushdown Reward Machines (pdRMs) — это расширение обычных Reward Machines, основанное на **deterministic pushdown automata (DPDA)**. Эти автоматы могут представить более сложные языки, включая такие, допускающие неограниченные вложенности и глубины временных структур, чем это возможно в оригинальных RMs. Мы предлагаем два варианта политик, использующих pdRM: полный доступ к стеку и ограниченный доступ к верхним $k$-символам стека. Для проверки оптимальности политик мы предоставляем алгоритм, определяющий, достигают ли две политики одинаковую оптимальную суммарную награду в заданной среде. Мы также приводим теоретические результаты о выразительных возможностях pdRMs и анализируем сложность пространственных ресурсов. ## Результаты Мы проводим эксперименты, применяя pdRMs к задачам, требующим учета временных структур. Для задач, которые могут быть представлены в контексте-фри языках, мы показываем, что pdRMs позволяют значительно увеличить эффективность обучения по сравнению с традиционными RMs. Мы также проверяем точность вычисления оптимальности политик на различных наборах данных. Эксперименты показывают, что pdRMs могут эффективно решать задачи, которые требуют учёта более сложных структур времени, чем это возможно в стандартных Reward Machines. ## Значимость Предлагаемый подход может быть применен в различных прикладных областях, где необходимо учитывать временные структуры, такие как роботизированные системы, квантовые вычисления и анализ текстов. Одним из главных преимуществ pdRMs является их возможность эффективно учитывать временные структуры, что дает значительное преимущество над традиционными RMs. Мы также показываем, как эта модель может быть использована в сложных ситуациях, где требуется оптимальное решение по задачам, включающим временные зависимости. Потенциальное влияние заключается в том, что pdRMs могу