It's-A-Me, Quantum Mario: Scalable Quantum Reinforcement Learning with Multi-Chip Ensembles
2509.00713v1
quant-ph, cs.AI
2025-09-05
Авторы:
Junghoon Justin Park, Huan-Hsin Tseng, Shinjae Yoo, Samuel Yen-Chi Chen, Jiook Cha
Резюме на русском
## Контекст
Проблематика современных систем управления в задачах управления нейронными сетями заключается в требовании к высокой скорости и эффективности работы. Эти проблемы становятся еще более заметны при использовании квантовых алгоритмов, которые требуют большого количества ресурсов. Однако квантовые сети могут предложить уникальные возможности для улучшения эффективности и скорости работы. В настоящем исследовании рассматривается модель квантового управления, которая использует квантовые сети для решения задач управления в игре Super Mario Bros. Модель предназначена для реализации на ближайших квантовых устройствах, что позволяет изучить возможности квантовых систем в реальных задачах управления.
## Метод
В этом исследовании предлагается использовать многокаскадную квантовую модель управления, состоящую из нескольких небольших квантовых сетей. Эти сети работают в классической среде и позволяют разделить задачи на несколько частей, чтобы уменьшить нагрузку на каждую квантовую сеть. Модель управления состоит из нескольких элементов: квантовых сетей, классического агрегатора и рабочего процесса управления. Квантовые сети разделяют анализ данных на несколько частей, а классический агрегатор объединяет результаты работы всех квантовых сетей. Эта модель позволяет решать задачи управления в сложных средах, таких как игра Super Mario Bros.
## Результаты
Для исследования модели были проведены эксперименты в среде игры Super Mario Bros. Для обучения квантовых сетей были использованы данные, полученные из видеоигры. Результаты показали, что улучшенная модель квантового управления показывает более высокую эффективность и стабильность обучения по сравнению с классическими моделями управления. Эксперименты показали, что квантовые сети могут быть эффективно использованы для решения задач управления, даже в сложных средах, которые требуют большого количества ресурсов.
## Значимость
Исследование имеет значительное значение для развития квантовых систем управления. Многокаскадная квантовая модель управления может быть применена для решения задач управления в сложных средах, таких как игры, системы управления роботами и другие приложения. Эта модель предлагает новый подход к решению задач управления, который может быть использован на ближайших квантовых устройствах. Это открывает новые возможности для развития квантовых систем управления и их применения в реальных задачах.
## Выводы
В ходе исследования была разработана модель квантового управления, которая использует несколько квантовых сетей для решения задач управления в сложных средах. Эксперименты показали, что модель эффективно работает в среде игры Super Mario Bros и предоставляет более высокую
Abstract
Quantum reinforcement learning (QRL) promises compact function approximators
with access to vast Hilbert spaces, but its practical progress is slowed by
NISQ-era constraints such as limited qubits and noise accumulation. We
introduce a multi-chip ensemble framework using multiple small Quantum
Convolutional Neural Networks (QCNNs) to overcome these constraints. Our
approach partitions complex, high-dimensional observations from the Super Mario
Bros environment across independent quantum circuits, then classically
aggregates their outputs within a Double Deep Q-Network (DDQN) framework. This
modular architecture enables QRL in complex environments previously
inaccessible to quantum agents, achieving superior performance and learning
stability compared to classical baselines and single-chip quantum models. The
multi-chip ensemble demonstrates enhanced scalability by reducing information
loss from dimensionality reduction while remaining implementable on near-term
quantum hardware, providing a practical pathway for applying QRL to real-world
problems.
Ссылки и действия
Дополнительные ресурсы: