Pure Exploration via Frank-Wolfe Self-Play

## Контекст Pure exploration в структурированных стохастических многоруких бандитных задачах направлено на эффективное определение правильной гипотезы из конечного множества вариантов. Для многих задач эти проблемы сводятся к максиминизации, которая интерпретируется в качестве двухучастниковной игры нулевого сумма: одна сторона (опытер) выделяет ресурсы для исключения вариантов, а другая (скептик) предлагает гипотезы. Однако структурные ограничения в таких задачах вводят сложные характеристики, которые усложняют разработку и анализ алгоритмов. Наша исследовательская цель — развить методы, которые могут эффективно справляться с этими вызовами. ## Метод Мы предлагаем метод Frank-Wolfe Self-Play (FWSP), основанный на технике проекционно-свободного метода Фрэнка-Вольфа. Этот подход является новым для pure exploration в линейных бандитных задачах. FWSP является проекционно-свободным, регуляризационно-свободным и тюнинг-свободным. Он использует однократные обновления в одном ходе для обеих сторон игры, что соответствует бандитному парадигме выбора. Однако структурные ограничения в линейных бандитных задачах представляют целый набор проблем, включая неуникальные оптимумы, нулевую массу на лучшем варианте и негладкие точки на границах. Мы обрабатываем эти проблемы с помощью аргументов дифференциальных включений, доказывая сходимость игрового значения для best-arm identification в линейных бандитных задачах. Наш анализ продолжается в рамках непрерывного времени, где мы используем Lyapunov-функцию для доказательства сходимости. ## Результаты Мы провели эксперименты, используя теоретические инструменты и методы, описанные в работе. Экспериментальные результаты показали, что FWSP эффективно справляется с проблемами, связанными с существующими структурными ограничениями. Мы использовали специально подобранные данные и метрики, чтобы оценить качество алгоритма. Наши результаты подтвердили, что FWSP позволяет достичь нулевого дуального дефицита и достичь оптимального значения игры. ## Значимость FWSP открывает новые возможности для pure exploration в линейных бандитных задачах. Он предлагает проекционно-свободное, регуляризационно-свободное и тюнинг-свободное решение, которое может быть применено в различных прикладных сценариях, включая работу с данными, коммуникационными системами и рекомендательными системами. Преимущество FWSP заключается в том, что он удачно решает сложности, связанные с нерегулярностью и структурными ограничениями, и достигает глобальной оптимальности в сложных задачах. ## Выводы Мы представили новый подход к pure exploration