Regret minimization in Linear Bandits with offline data via extended D-optimal exploration
2508.08420v2
cs.LG, stat.ML
2025-08-14
Авторы:
Sushant Vijayan, Arun Suggala, Karthikeyan Shanmugam, Soumyabrata Pal
Резюме на русском
## Контекст
Данная статья рассматривает проблему оптимизации ожидаемого ожидания (regret minimization) в моделях линейных бандитов (linear bandits), когда доступны дополнительные данные из прошлых наблюдений (offline data). Область применения данной задачи включает рекомендательные системы, онлайн-рекламу и другие сферы, где доступны большие объемы предварительных данных. Однако в предыдущих исследованиях использование таких данных недостаточно эффективно. Исследования по данной задаче получили значительное внимание в последнее время, так как оптимальное решение может потенциально существенно улучшить эффективность работы моделей в указанных областях.
## Метод
Рассматриваемая работа предлагает алгоритм Offline-Online Phased Elimination (OOPE), который эффективно интегрирует offline data для уменьшения online regret. Основной идеей лежит задействование расширенного D-оптимального дизайна (extended D-optimal design) в каждой фазе исследования. Это позволяет учитывать спектр эйденгов (eigen-spectrum) матрицы Грама offline данных, измеряющий качество этих данных. Данный подход эффективно адаптируется к различным уровням качества и объема offline данных, что дает гибкость в использовании.
## Результаты
Проведенные эксперименты показывают, что OOPE существенно улучшает результаты по сравнению с предыдущими методами. Используя расширенный D-оптимальный дизайн, алгоритм достигает значительного сокращения regret в режиме online, особенно при наличии качественных offline данных. Оценки regret имеют вид $\tilde{O}(\sqrt{\deff T \log \left(|\mathcal{A}|T\right)}+d^2)$, где $\deff$ — эффективная размерность проблемы, зависящая от характеристик eigen-spectrum. Это позволяет получать регреты в онлайн-режиме, которые значительно меньше, чем при исключении offline данных, и даже при условии их небольшого качества.
## Значимость
Результаты данной работы имеют значительное значение в применениях, где offline данные являются обширными и качественными. Это включает рекомендательные системы, онлайн-рекламу и другие задачи, где доступ к предварительным наблюдениям может существенно повлиять на эффективность решения. Кроме того, алгоритм OOPE демонстрирует гибкость и эффективность при работе с разными уровнями качества offline данных, что делает его универсальным инструментом в подобных задачах.
## Выводы
Данная статья предлагает новый подход к решению задачи оптимизации ожидаемого ожидания в моделях линейных бандитов с доступом к offline данным. Использование расширенного D-оптимального дизайна позволяет эффективно интегрировать offline данные, уменьшая online regret и значительно повышая эффективность решения. Обеспечены оптимальные регретные оценки в зависимости от качества offline данных. Будущие исследования бу
Abstract
We consider the problem of online regret minimization in linear bandits with
access to prior observations (offline data) from the underlying bandit model.
There are numerous applications where extensive offline data is often
available, such as in recommendation systems, online advertising. Consequently,
this problem has been studied intensively in recent literature. Our algorithm,
Offline-Online Phased Elimination (OOPE), effectively incorporates the offline
data to substantially reduce the online regret compared to prior work. To
leverage offline information prudently, OOPE uses an extended D-optimal design
within each exploration phase. OOPE achieves an online regret is
$\tilde{O}(\sqrt{\deff T \log \left(|\mathcal{A}|T\right)}+d^2)$. $\deff \leq
d)$ is the effective problem dimension which measures the number of poorly
explored directions in offline data and depends on the eigen-spectrum
$(\lambda_k)_{k \in [d]}$ of the Gram matrix of the offline data. The
eigen-spectrum $(\lambda_k)_{k \in [d]}$ is a quantitative measure of the
\emph{quality} of offline data. If the offline data is poorly explored ($\deff
\approx d$), we recover the established regret bounds for purely online setting
while, when offline data is abundant ($\Toff >> T$) and well-explored ($\deff =
o(1) $), the online regret reduces substantially. Additionally, we provide the
first known minimax regret lower bounds in this setting that depend explicitly
on the quality of the offline data. These lower bounds establish the optimality
of our algorithm in regimes where offline data is either well-explored or
poorly explored. Finally, by using a Frank-Wolfe approximation to the extended
optimal design we further improve the $O(d^{2})$ term to
$O\left(\frac{d^{2}}{\deff} \min \{ \deff,1\} \right)$, which can be
substantial in high dimensions with moderate quality of offline data $\deff =
\Omega(1)$.
Ссылки и действия
Дополнительные ресурсы: