Generalizable End-to-End Tool-Use RL with Synthetic CodeGym

#### Контекст Одна из основных целей современной искусственной интеллектуальной системы — достижение границ заданного рабочего процесса. Несмотря на то, что существуют инструменты с искусственным интеллектом (LLMs), которые могут использоваться для выполнения различных задач в реальном мире, существуют проблемы, связанные с нехваткой гибкости в подходе. Например, существующие методы основываются на процедурах супервизованного оптимизации и расширения технических решений. Однако эти подходы ограничены рабочими процессами, в которых они были тренированы, и не могут обеспечивать общее понимание различных ситуаций. Кроме того, использование кода для примера демонстрирует многочисленные структуры в реальных рабочих процессах, что позволяет использовать его для развития оптимального алгоритма. Таким образом, целью этого исследования является создание нейросетевой системы, которая может использоваться для решения различных задач с помощью синтезированных скриптов. #### Метод Для решения этой проблемы предлагается методология, основанная на создании и использовании синтезированных скриптов. Основной идеей является изменение статических кодов на интерактивные среды, где можно активно испытать и оптимизировать рабочие процессы. Для этого был разработан фреймворк, названный CodeGym. Он состоит из двух основных элементов: (1) — создания верифицируемых задач с различными структурами рабочих процессов, и (2) — создания интерактивных сред для тестирования и оценки работы моделей. Это позволяет модели учиться, используя различные типы задач и ситуаций, что улучшает их гибкость и общую производительность. #### Результаты Проведено несколько экспериментов, в которых тестировались различные модели AI на синтезированных задачах. Для этого были использованы данные, полученные в рамках CodeGym, которые включали в себя различные типы синтезированных скриптов. На основе этих задач были проведены эксперименты, которые показали, что модели, обученные на CodeGym, показывают значительное улучшение в общей производительности и гибкости. Например, Qwen2.5-32B-Instruct показала абсолютный прирост точности в 8.7 баллов на OOD бенчмарке $\tau$-Bench. Эти результаты позволяют сделать вывод, что CodeGym является эффективным фреймворком для развития общего понимания различных рабочих процессов. #### Значимость CodeGym может быть использован в различных областях, где требуется улучшение гибкости и скорости решения задач. Он позволяет создавать интерактивные среды для тестирования и оценки работы моделей, что позволяет улучшать их возможности в рабочих процессах. Это может быть применено в задачах, где необхо