TreePO: Bridging the Gap of Policy Optimization and Efficacy and Inference Efficiency with Heuristic Tree-based Modeling

## Контекст В последние годы методы политической оптимизации (Policy Optimization, PO), основанные на теории игр, получили широкое распространение в области работы с большими языковыми моделями. Они позволяют эффективно решать задачи, требующие углубленного понимания языка. Несмотря на это, имеются значительные проблемы. Например, требование к дорогостоящим он-политическим роллаутам и ограниченной исследовательской ловкости приводят к высоким затратам на вычисления и неэффективности. Для решения этих проблем необходимо разработать методы, которые обеспечат оптимизацию и эффективность вывода в рамках требований к сложности и стоимости. ## Метод Мы предлагаем TreePO, новый подход, который объединяет динамическое деревовые поисковые методы с декодированием по сегментам фиксированной длины. Этот подход построен на трёх ключевых компонентах. Во-первых, мы предлагаем сегментный алгоритм выбора, который уменьшает нагрузку на KV-кеш, работая с последовательностями, и позволяет сформировать новые ветви поиска с возможностью преждевременного останова. Во-вторых, мы вводим деревовое оценивание взвешенных анализов, которое учитывает как глобальные, так и локальные аспекты политической оптимизации. И наконец, мы анализируем эффективность пробного распространения и стратегии возврата на основе вероятности и качества. ## Результаты Мы проводили эксперименты на нескольких наборах данных для оценки производительности и эффективности TreePO. Наши результаты показали, что данный подход уменьшает расходы на вычисления по сравнению с существующими методами. Например, использование TreePO приводит к сокращению издержек на обучение моделей от 22% до 43%. Благодаря эффективному использованию семантических сегментов и раннего останова ненужных разветвелений, TreePO позволяет улучшить качество решений и сократить трассировки. ## Значимость Данный подход может быть применен в различных задачах, требующих глубокого обработки языка, таких как генерация текста, поиск решений и диагностика. Он обеспечивает более быструю и эффективную обработку запросов, особенно в сценариях с ограниченным вычислительным бюджетом. Также TreePO открывает путь к более сильной интеграции RL-подходов в обучение моделей, снижая общую стоимость и сложность. ## Выводы Мы представили TreePO, новый подход к оптимизации политик, который эффективно сочетает динамическое деревовое поисковое моделирование с уменьшением расходов на вычисления. Этот подход показал свою эффективность в сравнении с другими подходами, а также открыл новые возможности для развития RL-подходов в обучении моделей.