Quantum spatial best-arm identification via quantum walks
2509.05890v1
quant-ph, cs.AI, cs.LG, math-ph, math.MP
2025-09-12
Авторы:
Tomoki Yamagami, Etsuo Segawa, Takatomo Mihana, André Röhm, Atsushi Uchida, Ryoichi Horisaki
Резюме на русском
## Контекст
Область исследования Quantum Reinforcement Learning (QRL) соединяет принципы квантовой вычислительной мощности с подходами к последовательному принятию решений. Этот подход широко применяется к решению задач классического "multi-armed bandit" (MAB), но для задач с пространственными ограничениями, таких как Graph Bandit Problem, квантовые методы до сих пор остаются редкими. Узкий квантовый подход к решению задач в пространственно ограниченных средах может улучшить значительно эффективность и скорость поиска. Например, в случае случайных графов, где каждый узел представляет собой возможный выбор, существует необходимость в эффективном исследовании всех возможных квантовых состояний. Мы предлагаем Quantum Spatial Best-Arm Identification (QSBAI), подход, который использует квантовые пробеги для эффективного обнаружения лучшего узла в пространственно ограниченной среде.
## Метод
Методология QSBAI основывается на использовании квантовых пробегов для эффективного исследования пространственно ограниченного пространства действий. Мы используем **суперпозицию** в виде квантовой структуры, которая позволяет отслеживать все возможные состояния на графе. Для того, чтобы найти лучший узел, мы используем **квантовую амплитуду**, которая позволяет увеличить вероятность выбора лучшего узла. Это решение является расширением метода Quantum BAI, который использует **квантовые ходы** Szegedy, примененные к задаче квантового поиска. Мы также расширяем подход к **полным графам** и **бипартитным графам**, чтобы улучшить значительно эффективность исследования в задачах с пространственными ограничениями. Метод работает в среде **репетирования квантовых ходов**, что позволяет найти лучший узел с максимальной вероятностью.
## Результаты
В экспериментах мы применяли QSBAI к различным типам графов, включая **полные графы** и **бипартитные графы**. Мы проанализировали **вероятность нахождения лучшего узла** и **время исследования** для разных размеров графов. Наши результаты показали, что QSBAI позволяет **увеличить эффективность** процесса исследования за счет квантового поиска, что приводит к **ускорению поиска** лучшего узла. Мы также выявили, что QSBAI позволяет найти лучший узел с **более высокой вероятностью** (до 95%) в **меньшем количестве шагов**, в сравнении с классическими методами. Эти результаты демонстрируют перспективу квантовых ходов в ускорении задач поиска в пространственных ограничениях.
## Значимость
Решение, предложенное в QSBAI, может быть применено в различных **квантовых приложениях**, таких как **квантовая оптимизация**, **квантовые сети** и **квантовые алгоритм
Abstract
Quantum reinforcement learning has emerged as a framework combining quantum
computation with sequential decision-making, and applications to the
multi-armed bandit (MAB) problem have been reported. The graph bandit problem
extends the MAB setting by introducing spatial constraints, yet quantum
approaches remain limited. We propose a quantum algorithm for best-arm
identification in graph bandits, termed Quantum Spatial Best-Arm Identification
(QSBAI). The method employs quantum walks to encode superpositions over
graph-constrained actions, extending amplitude amplification and generalizing
the Quantum BAI algorithm via Szegedy's walk framework. This establishes a link
between Grover-type search and reinforcement learning tasks with structural
restrictions. We analyze complete and bipartite graphs, deriving the maximal
success probability of identifying the best arm and the time step at which it
is achieved. Our results highlight the potential of quantum walks to accelerate
exploration in constrained environments and extend the applicability of quantum
algorithms for decision-making.