Probing and Enhancing the Robustness of GNN-based QEC Decoders with Reinforcement Learning

## КОНТЕКСТ И ПРОБЛЕМАТИКА Квантующиеся компьютеры становятся все более реальностью, однако их работа всё ещё сталкивается со значительными вычислительными ошибками, вызванными квантующейся средой. Ключевым решением этой проблемы является квантовая коррекция ошибок (Quantum Error Correction, QEC), которая позволяет обнаруживать и исправлять ошибки в квантующихся вычислениях. Однако эффективное применение QEC требует надежных методов декодирования, которые могут обрабатывать сложные шумовые характеристики. В последнее время Graph Neural Networks (GNNs) получили широкое признание как мощный инструмент для декодирования в QEC, благодаря их способности обучаться на сложных шумовых моделях напрямую из синдромных данных. Несмотря на то, что GNNs демонстрируют высокую точность в декодировании, их устойчивость к адверсарным (враждебным) перестановкам и небольшим изменениям в синдромных данных остается неясной. Эта проблема особенно критична для квантовых вычислений, требующих высокой надежности и устойчивости к любым видам помех. В работе предлагается исследовать уязвимости GNN-декодеров, в частности Graph Attention Networks (GAT), используемых для декодирования данных синдромов из экспериментального кода поверхности, собранных Google Quantum AI. Целью этого исследования является разработка методологии для выявления критических уязвимостей в GNN-декодерах и последующего укрепления их устойчивости. ## ПРЕДЛОЖЕННЫЙ МЕТОД В данной работе предлагается новый метод для исследования и улучшения устойчивости GNN-декодеров с помощью Reinforcement Learning (RL). RL-агент обучается взаимодействовать с GNN-декодером, выполняя роль "врага" или "атакующего", с целью найти минимальные изменения в синдромных данных, которые приведут к ошибке декодера. Этот метод позволяет систематически исследовать уязвимости GNN-декодеров. RL-агент обучается на базе GAT-декодера, обученного на синдромных данных surface code от Google Quantum AI. Агент ищет такие изменения, которые могут вызвать неправильное декодирование с минимальным количеством перестановок. Этот процесс позволяет выявить критические уязвимости, которые могут быть использованы для дальнейшего улучшения модели. Кроме того, для улучшения устойчивости декодера предлагается метод адверсарного обучения (adversarial training). Этот метод включает в себя последующее обучение декодера на адверсарных примерах, сгенерированных RL-агентом. Такой подход позволяет декодеру адаптироваться к возможным атакам и становиться более устойчивым к ним. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ В рамках экспериментов RL-агент был обучен на синдромных данных surface code, используя GAT-декодер. Результаты показали, что RL-агент способен находить критические уязвимости декодера с высокой точностью, достигая высокого процента успешных атак с минимальным количеством изменений в синдромных данных. Далее, было проведено адверсарное обучение, в ходе которого GAT-декодер был переобучен на адверсарных примерах, сгенерированных RL-агентом. Результаты демонстрируют значительное улучшение устойчивости декодера. После адверсарного обучения GAT-декодер стал менее чувствителен к адверсарным изменениям, что свидетельствует о успешности предложенного метода. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Предлагаемый метод имеет значительное практическое применение в области квантовых вычислений, особенно в разработке надежных QEC-декодеров. Улучшение устойчивости декодеров к адверсарным изменениям может повысить надежность квантовых вычислений, что критически важно для реализации фаульт-толерантных квантовых компьютеров. Преимущества предлагаемого метода заключаются в его способности систематически выявлять уязвимости и адаптировать декодер к ним. Это может привести к разработке более надежных и точных декодеров, которые могут быть использованы в реальных квантовых вычислительных системах. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ В работе было показано, что RL-агент может эффективно выявлять критические уязвимости в GNN-декодерах, а адверсарное обучение может значительно повысить устойчивость декодеров к таким атакам. Этот подход открывает новые возможности для разработки более надежных и точных QEC-декодеров. В будущем, этот метод может быть расширен для исследования других типов декодеров и синдромных данных, а также для исследования более сложных адверсарных сценариев. Также, дальнейшие исследования могут фокусироваться на оптимизации процесса адверсарного обучения для ещё большего повышения устойчивости декодеров.