ToolSample: Dual Dynamic Sampling Methods with Curriculum Learning for RL-based Tool Learning

#### Контекст Реинфорсментное обучение (RL) получило широкое распространение в области обучения с подкреплением (LLM-based tool learning), однако его эффективность часто страдает от огромного количества простых примеров, которые при обучении лишаются значимости. Эти примеры уже не способствуют эффективному улучшению модели. Особенно проблематично это для задач инструментального обучения, где присутствуют множество взаимосвязанных подзадач и многозначные сигналы вознаграждения. Существующие методы динамического выбора примеров (dynamic sampling methods) не учитывают эти специфические особенности, что приводит к неэффективному использованию ресурсов и ограниченному улучшению модели. #### Метод В этой работе предлагается новый подход, Dynamic Sampling with Curriculum Learning (DSCL), который адаптивно решает проблему производительности обучения с подкреплением в контексте инструментальных задач. Основные компоненты DSCL: 1. **Reward-Based Dynamic Sampling** — использует статистику по многомерным сигналам вознаграждения (среднее и дисперсия) для выделения наиболее ценных примеров. 2. **Task-Based Dynamic Curriculum Learning** — адаптивно направляет обучение на менее усвоенные подзадачи, увеличивая их вклад в общий процесс обучения. Эта архитектура позволяет эффективно использовать сложные сигналы вознаграждения и динамики подзадач в инструментальном обучении. #### Результаты Для оценки эффективности DSCL проводились различные эксперименты на BFCLv3 бенчмарке. Метод показал существенное улучшение производительности, достигнув значимое увеличение точности и эффективности обучения. Особенно заметно были улучшения в тех областях, где существуют многозначные сигналы вознаграждения и зависимости между подзадачами. На BFCLv3 DSCL демонстрировал улучшение в 3.29% по сравнению с базовыми методами, установив новый стандарт эффективности в этой области. #### Значимость DSCL представляет собой новый подход к решению проблемы эффективного обучения инструментальных моделей с подкреплением. Он применяется в сценариях, где требуется адаптивное управление обучением с учетом многозначных вознаграждений и сложности подзадач. Данный подход не только повышает эффективность обучения, но и оптимизирует ресурсы, делая процесс более эффективным. Его потенциал применения распространяется на многие области, где инструменты обучаются с подкреплением, в том числе прикладные решения в области искусственного интеллекта. #### Выводы Основным достижением DSCL является его успех в усовершенствовании процесса обучения инструментальных моделей. Этот подход демонстрирует преимущества в увеличении производительности и эффективности обучения. Будущие работы будут сосредото