Tail-Risk-Safe Monte Carlo Tree Search under PAC-Level Guarantees

## КОНТЕКСТ И ПРОБЛЕМАТИКА Монте-Карло деревья принятия решений (Monte Carlo Tree Search, MCTS) являются мощной техникой для оптимизации решений в средах с неопределенностью. Однако традиционные подходы в MCTS основываются на ожидаемых возвратах, что не учитывает возможного диапазона неблагоприятных результатов, связанных с принятием решений. Это может привести к серьезным последствиям в ситуациях с высоким риском, где крайние или высокорискованные исходы (так называемый "tail-risk") могут иметь критическую важность. Для уменьшения этого риска, некоторые методы MCTS вводят ограничения, такие как средние меры риска или жесткие пороги затрат, но они не обеспечивают строгие гарантии безопасности относительно экстремумов и высокорискованных ситуаций. В этой статье авторы фокусируются на проблеме обеспечения безопасности относительно крайних рисков ("tail-safety") в MCTS. Они разрабатывают методы, которые могут обеспечить более надежные гарантии в отношении крайних случаев, что особенно важно в приложениях с высокими рисками, таких как финансы, медицина или критические инфраструктурные системы. В частности, авторы предлагают решения, которые могут контролировать риск не только в среднем, но и в худших сценариях, что является ключевой проблемой в данной области. ## ПРЕДЛОЖЕННЫЙ МЕТОД Авторы предлагают два новых метода для обеспечения безопасности относительно рисков в MCTS. **1. CVaR-MCTS (Conditional Value-at-Risk MCTS):** В этом подходе авторы используют меру риска Conditional Value-at-Risk (CVaR), которая характеризует ожидаемый убыток в худших $(1-\alpha)\%$ случаев. CVaR-MCTS интегрирует CVaR в структуру MCTS, позволяя контролировать риск на крайних случаях. Метод позволяет установить параметр $\alpha$, который определяет уровень контроля риска. Таким образом, CVaR-MCTS способен обеспечить явный контроль риска в худших случаях, что является важной характеристикой для приложений с высоким риском. **2. Wasserstein-MCTS (W-MCTS):** Для устранения ограничений, связанных с оценкой риска на основе ограниченных выборок, авторы предлагают ввести амбигуитетный набор Wasserstein (Wasserstein ambiguity set) $\mathcal{P}_{\varepsilon_{s}}(s,a)$ с радиусом $\varepsilon_{s}$. Этот набор позволяет характеризовать неопределенность в оценках риска и обеспечивает более точные гарантии безопасности в отношении крайних ситуаций. W-MCTS использует этот набор для улучшения точности оценок риска, что позволяет повысить надежность решений в средах с неопределенностью. Авторы также доказывают, что оба метода обеспечивают PAC (Probably Approximately Correct) гарантии безопасности и оценивают регрет (regret) этих методов. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Авторы проводят эксперименты на различных симулированных средах, чтобы оценить эффективность их методов по сравнению с существующими базовыми подходами. Результаты демонстрируют, что CVaR-MCTS и W-MCTS показывают значительно более высокую эффективность в обеспечении безопасности относительно крайних рисков, при этом показывая лучшие результаты в терминах вознаграждений и стабильности. В частности, CVaR-MCTS показывает высокую эффективность в контроле риска в крайних ситуациях, в то время как W-MCTS обеспечивает более точную оценку риска благодаря введенному амбигуитетному набору. Эксперименты также показывают, что оба метода повышают стабильность и уменьшают вероятность крайних неблагоприятных исходов, что делает их более надежными в сравнении с традиционными методами MCTS. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Предложенные методы имеют широкое применение в областях, требующих высокой надежности и контроля риска. Например, в финансовых системах, где необходимо учитывать возможность крайних финансовых потерь, или в медицинских приложениях, где крайние исходы могут иметь серьезные последствия. CVaR-MCTS и W-MCTS могут быть использованы для оптимизации решений в этих областях, обеспечивая более надежные и безопасные решения. Кроме того, эти методы могут быть применены в критически важных системах, таких как управление энергетическими сетями, транспортные системы или системы кибербезопасности, где контроль риска в крайних случаях имеет решающее значение для обеспечения безопасности и надежности. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ В этой работе авторы представляют два новых метода, CVaR-MCTS и W-MCTS, которые обеспечивают гарантии безопасности относительно крайних рисков в MCTS. Они доказывают PAC гарантии для этих методов и демонстрируют их преимущества в экспериментальных исследованиях. В будущем, авторы предлагают расширить эти методы для более сложных сред, включая многоагентные системы и системы с нестационарностью. Также, они предлагают исследовать возможности интеграции этих методов с другими подходами к управлению рисками, чтобы повысить их эффективность в реальных приложениях.