It's-A-Me, Quantum Mario: Scalable Quantum Reinforcement Learning with Multi-Chip Ensembles

2509.00713v1 quant-ph, cs.AI 2025-09-05
Авторы:

Junghoon Justin Park, Huan-Hsin Tseng, Shinjae Yoo, Samuel Yen-Chi Chen, Jiook Cha

Резюме на русском

## Контекст Проблематика современных систем управления в задачах управления нейронными сетями заключается в требовании к высокой скорости и эффективности работы. Эти проблемы становятся еще более заметны при использовании квантовых алгоритмов, которые требуют большого количества ресурсов. Однако квантовые сети могут предложить уникальные возможности для улучшения эффективности и скорости работы. В настоящем исследовании рассматривается модель квантового управления, которая использует квантовые сети для решения задач управления в игре Super Mario Bros. Модель предназначена для реализации на ближайших квантовых устройствах, что позволяет изучить возможности квантовых систем в реальных задачах управления. ## Метод В этом исследовании предлагается использовать многокаскадную квантовую модель управления, состоящую из нескольких небольших квантовых сетей. Эти сети работают в классической среде и позволяют разделить задачи на несколько частей, чтобы уменьшить нагрузку на каждую квантовую сеть. Модель управления состоит из нескольких элементов: квантовых сетей, классического агрегатора и рабочего процесса управления. Квантовые сети разделяют анализ данных на несколько частей, а классический агрегатор объединяет результаты работы всех квантовых сетей. Эта модель позволяет решать задачи управления в сложных средах, таких как игра Super Mario Bros. ## Результаты Для исследования модели были проведены эксперименты в среде игры Super Mario Bros. Для обучения квантовых сетей были использованы данные, полученные из видеоигры. Результаты показали, что улучшенная модель квантового управления показывает более высокую эффективность и стабильность обучения по сравнению с классическими моделями управления. Эксперименты показали, что квантовые сети могут быть эффективно использованы для решения задач управления, даже в сложных средах, которые требуют большого количества ресурсов. ## Значимость Исследование имеет значительное значение для развития квантовых систем управления. Многокаскадная квантовая модель управления может быть применена для решения задач управления в сложных средах, таких как игры, системы управления роботами и другие приложения. Эта модель предлагает новый подход к решению задач управления, который может быть использован на ближайших квантовых устройствах. Это открывает новые возможности для развития квантовых систем управления и их применения в реальных задачах. ## Выводы В ходе исследования была разработана модель квантового управления, которая использует несколько квантовых сетей для решения задач управления в сложных средах. Эксперименты показали, что модель эффективно работает в среде игры Super Mario Bros и предоставляет более высокую

Abstract

Quantum reinforcement learning (QRL) promises compact function approximators with access to vast Hilbert spaces, but its practical progress is slowed by NISQ-era constraints such as limited qubits and noise accumulation. We introduce a multi-chip ensemble framework using multiple small Quantum Convolutional Neural Networks (QCNNs) to overcome these constraints. Our approach partitions complex, high-dimensional observations from the Super Mario Bros environment across independent quantum circuits, then classically aggregates their outputs within a Double Deep Q-Network (DDQN) framework. This modular architecture enables QRL in complex environments previously inaccessible to quantum agents, achieving superior performance and learning stability compared to classical baselines and single-chip quantum models. The multi-chip ensemble demonstrates enhanced scalability by reducing information loss from dimensionality reduction while remaining implementable on near-term quantum hardware, providing a practical pathway for applying QRL to real-world problems.

Ссылки и действия