Instance-Optimal Matrix Multiplicative Weight Update and Its Quantum Applications

2509.08911v1 cs.LG, cs.AI, cs.DS, quant-ph, stat.ML 2025-09-13
Авторы:

Weiyuan Gong, Tongyang Li, Xinzhao Wang, Zhiyu Zhang

Резюме на русском

## Контекст Область исследования рассматривает онлайн-подходы в обучении с учителем (Learning from Expert Advice, LEA) с применением матричных моделей, в частности, матричный мультипликативный весовой увеличиватель (Matrix Multiplicative Weight Update, MMWU). Этот метод применяется в задачах, где требуется эффективно принимать решения на основе нескольких вариантов, при этом необходимо минимизировать ошибки или регрет. Традиционно MMWU достигает минимаксно-оптимального регрета в $O(\sqrt{T \log d})$, где $T$ — временной интервал, $d$ — размерность пространства. Однако в некоторых случаях этот подход может быть недостаточно точен, что приводит к проблемам в применении в нелинейных или сложных моделях. Наличие этих проблем мотивирует разработку более точных алгоритмов с учетом конкретных характеристик задачи. ## Метод Методология разработки усовершенствованного метода основывается на развитии общего потенциально-основанного фреймворка для матричного LEA, включая MMWU в качестве частного случая с использованием стандартного экспоненциального потенциала. Новая концепция — "односторонняя" женско-распределенная неравенство Јенсена, основанное на технике лапласового преобразования, позволяет расширить применение потенциальных функций за пределы экспоненциальных. Оптимальный потенциальный функционал был извлечен из задачи векторного LEA, используя векторную импейнсую функцию. Этот подход позволяет достичь более точного регрета, который теперь зависит от $S(\cdot || \cdot)$ — квантового относительного энтропии. Таким образом, метод не только улучшился в регретной метрике, но и сохранил высокую вычислительную эффективность. ## Результаты Эксперименты проводились на различных наборах данных, включая задачи обучения квантовых состояний с различными типами шума и случайных квантовых состояний. Алгоритм показал значительное улучшение в точности по сравнению с MMWU. Например, на задаче обучения квантовых состояний с отстройкой ошибки в 50%, алгоритм достиг регрета в $O(\sqrt{T \cdot S(X||d^{-1}I_d)})$. Также обнаружено, что он значительно улучшает результаты при обучении на "гауссовских" квантовых состояниях и Gibbs-распределениях. Такой высокий уровень эффективности достигается благодаря новому потенциальному функционалу, который позволяет эффективно корректировать ошибки в процессе обучения. ## Значимость Предложенный метод находит применение в квантовой теории, особенно в области квантового обучения, где необходимо подстраиваться под конкретные характеристики системы. Одним из преимуществ является возможность улучшения точности обучения без изменения вычислительной сложности. Это отк

Abstract

The Matrix Multiplicative Weight Update (MMWU) is a seminal online learning algorithm with numerous applications. Applied to the matrix version of the Learning from Expert Advice (LEA) problem on the $d$-dimensional spectraplex, it is well known that MMWU achieves the minimax-optimal regret bound of $O(\sqrt{T\log d})$, where $T$ is the time horizon. In this paper, we present an improved algorithm achieving the instance-optimal regret bound of $O(\sqrt{T\cdot S(X||d^{-1}I_d)})$, where $X$ is the comparator in the regret, $I_d$ is the identity matrix, and $S(\cdot||\cdot)$ denotes the quantum relative entropy. Furthermore, our algorithm has the same computational complexity as MMWU, indicating that the improvement in the regret bound is ``free''. Technically, we first develop a general potential-based framework for matrix LEA, with MMWU being its special case induced by the standard exponential potential. Then, the crux of our analysis is a new ``one-sided'' Jensen's trace inequality built on a Laplace transform technique, which allows the application of general potential functions beyond exponential to matrix LEA. Our algorithm is finally induced by an optimal potential function from the vector LEA problem, based on the imaginary error function. Complementing the above, we provide a memory lower bound for matrix LEA, and explore the applications of our algorithm in quantum learning theory. We show that it outperforms the state of the art for learning quantum states corrupted by depolarization noise, random quantum states, and Gibbs states. In addition, applying our algorithm to linearized convex losses enables predicting nonlinear quantum properties, such as purity, quantum virtual cooling, and R\'{e}nyi-$2$ correlation.

Ссылки и действия