Bilevel MCTS for Amortized O(1) Node Selection in Classical Planning

## Контекст Многоarmed-bandit (MAB)-основанный Monte-Carlo Tree Search (MCTS) широко применяется в классическом планировании, поскольку позволяет эффективно исследовать дерево возможных действий. Однако одним из ограничений MCTS является высокая стоимость выбора узла в списке OPEN. Обычно этот процесс реализуется с помощью очереди с приоритетом, что обеспечивает работу в $O(1)$ временных характеристиках, однако в условиях классического планирования, когда дерево значительно расширяется, эффективность выбора узла снижается до $O(\log N)$ при использовании tree-based OPEN list, что может стать значительной задержкой. Одним из примеров таких сценариев является задача Tower-of-Hanoi с $k$-дисками, где $d \leq 2^k - 1$. Более того, в классическом планировании эта проблема вытесняет важность оценки узлов (rollouts), которая в игровых деревьях является основной затратой. Данная работа направлена на решение этой проблемы, оптимизируя выбор узла в tree-based OPEN list. ## Метод Для улучшения производительности выбора узла в tree-based OPEN list, мы предлагаем билвлютный подход в MCTS. Основной идеей является запуск best-first search для каждого узла, который выбирается на вершине дерева, с ограничением на вычисления, пропорциональным $d$. Это позволяет достичь амортизационного времени $O(1)$ для выбора узла, подобно традиционной очереди с приоритетом. Для дальнейшего улучшения, мы вводим механизм Tree Collapsing, который уменьшает количество шагов выбора действий. Эта методика позволяет эффективно компенсировать затраты на вывод узла, обеспечивая улучшенную скорость работы с tree-based OPEN list. ## Результаты Мы проводим эксперименты с различными классическими задачами планирования, включая Tower-of-Hanoi с различным количеством дисков $k$, и сравниваем результаты с существующими алгоритмами. Результаты показывают, что наши изменения MCTS позволяют достичь средней скорости выбора узла $O(1)$, что значительно сокращает время поиска в сравнении с традиционными методами. Более того, Tree Collapsing уменьшает количество шагов выбора действий, что приводит к дополнительному повышению производительности. Эти результаты показывают эффективность предлагаемого подхода в решении проблемы сложности выбора узла в tree-based OPEN list. ## Значимость Предложенный подход может быть применен в различных классических задачах планирования, где размер дерева исходных действий большой. Особенно применим он в задачах, где дерево расширяется арифметически, например, в Tower-of-Hanoi. Этот метод позволяет значительно уменьшить время, затрачиваемое на выбор узла, что позволяет увеличить эффективность MCTS в классическом планировании. Кроме того, этот подход может быть применен в других задачах, требующих быстро