Achieving Limited Adaptivity for Multinomial Logistic Bandits

## Контекст Multinomial Logistic Bandits (MLBs) являются мощным инструментом для моделирования проблем с несколькими возможными выводами. В этой модели каждое решение соответствует многочисленным вариантам результатов, описываемым функцией многочленной логистики. Несмотря на их потенциал, существуют практические задачи, требующие разработки алгоритмов с ограниченной адаптивностью. Ограниченная адаптивность означает, что алгоритм может обновить свою стратегию всего $M$ раз в ходе взаимодействия с системой. Это особенно актуально в ситуациях, когда постоянное изменение стратегии либо затруднительно, либо неэффективно. Существующие решения, хотя и достигают лучших результатов в отношении ошибки и эффективности вычислений, часто лишаются возможности управления числом политических обновлений. Наша мотивация заключается в разработке алгоритмов, которые бы оптимально сбалансировали эффективность и ограниченную адаптивность. ## Метод Мы разрабатываем два алгоритма, B-MNL-CB и RS-MNL, которые работают в батче и редко переключаются, соответственно. В первом случае, $M$ обновлений стратегии выбираются заранее и не могут изменяться в процессе работы. Во втором случае, $M$ может быть выбрано адаптивно в процессе, что дает большую гибкость. Основная идея заключается в использовании формализма распределенных оптимальных дизайнов, адаптированного к многочленной логистике. Для B-MNL-CB проводится анализ выбора контекста, который позволяет достичь оптимального регрета $\tilde{O}(\sqrt{T})$, при условии, что контексты генерируются стохастически и $M = \Omega(\log \log T)$. Для RS-MNL производится анализ вудущему случаю с адверсарскими контекстами, позволяющем достичь $\tilde{O}(\sqrt{T})$ в среднем, при $M = \tilde{O}(\log T)$. ## Результаты Мы проводим эксперименты с использованием синтетических и реальных данных, сравнивая наши алгоритмы с современными алгоритмами. Результаты показывают, что B-MNL-CB и RS-MNL не только соответствуют теоретическим ожиданиям, но и выигрывают в практических сценариях, даже когда их число обновлений ограничено. Например, B-MNL-CB показывает существенное преимущество в ситуациях с синтетическими контекстами, где генерируются свойственные нормальному распределению. Оба алгоритма демонстрируют высокую эффективность в сценариях с реальными данными, таких как моделирование клиентских предпочтений в коммерческих системах рекомендаций. ## Значимость Наши алгоритмы могут быть применены в различных приложениях, таких как рекомендательные системы, моделирование финансовых рынков и эк