Feedback-Driven Tool-Use Improvements in Large Language Models via Automated Build Environments

## Контекст Большие языковые модели (LLMs) широко используются для решения различных задач, но их эффективность сильно зависит от возможности эффективно использовать инструменты. Тем не менее, создание эффективных методологий для обучения моделей использования инструментов становится сложней из-за недостатка эффективных фреймворков для усовершенствования инструментального поведения. Эти проблемы возникают из-за необходимости создания стабильных обучающих сред и разработки верифицируемых механизмов вознаграждения. Это приводит к ограниченности возможностей моделей в использовании инструментов и, следовательно, к недостаточному использованию их потенциала в реальных ситуациях. ## Метод Мы предлагаем новый подход к созданию обучающих сред, позволяющий улучшить инструментальное поведение LLMs. Этот подход состоит из нескольких ключевых компонентов: сценарий декомпозиции, документации, интеграции функций и масштабирования сложности. Выделив эти компоненты, мы создаем высококачественные обучающие среды, которые обеспечивают подробный и измеримый отклик без необходимости использовать внешние инструменты. Этот подход также включает в себя разработку верифицируемого механизма вознаграждения, который оценивает как точность использования инструментов, так и полноту выполнения задачи. Эти компоненты могут быть легко интегрированы с существующими алгоритмами RL для обучения моделей. ## Результаты Мы проверили нашу методику на различных моделях различных размеров. Эксперименты показали, что наш подход существенно повышает производительность моделей при использовании инструментов, без ущерба для их общих качеств. Мы также отметили, что улучшения в инструментальном поведении моделей связаны с улучшением контекстного понимания и разума, которое достигается благодаря обновлению нижних слоев MLP при обучении. Эти результаты указывают на важность конкретной архитектуры и методологии, которые использовались в нашем подходе. ## Значимость Наш подход может быть использован в различных областях, где требуется инструментальное поведение LLMs, таких как автоматизация рабочих процессов, системы поддержки решений и системы управления. Он предлагает уникальные преимущества по сравнению с существующими методами, включая лучшую точность использования инструментов, гибкость в настройке и высокую степень универсальности. Это может привести к значительному повышению эффективности работы моделей в различных сферах применения. ## Выводы Мы пришли к выводу, что наш подход является эффективным для улучшения инструментального поведения LLMs. Он позволяет моделям более точно