AgentGym-RL: Training LLM Agents for Long-Horizon Decision Making through Multi-Turn Reinforcement Learning

## Контекст Построение автономных агентов с использованием глубоких нейросетевых моделей для решения сложных, реальных задач является ярким направлением современного искусственного интеллекта. Агенты должны быть способны принимать ряд последовательных решений, основываясь на интерактивном обучении в различных средах. Однако существует проблема в отсутствии универсального фреймворка, который позволял бы эффективно обучать такие агенты с нуля, исключая зависимость от супервизированных методов (SFT), и используя разнообразные и реалистичные среды. Этот вопрос требует решения для развития более широкой и динамичной практики обучения агентов. ## Метод AgentGym-RL представляет собой новую модель для обучения агентов с использованием многообразных сред реальной жизни, включая текстовые трансформации, игровые сценарии и другие реалистичные задачи. Фреймворк использует модульную и расширяемую архитектуру, которая поддерживает широкий спектр методов машинного обучения, включая несколько вариантов RL-алгоритмов. Основоположным элементом является ScalingInter-RL, подход, который управляет сбалансированной оценкой работы агента в процессе работы. Он начинает с высокого уровня эксплуатации (ограниченных интеракций), чтобы улучшить локальную оптимизацию, и плавно переходит к более широкому эксплорационному подходу, чтобы стимулировать разнообразные стратегии решения задач. ## Результаты Мы провели широкомасштабные эксперименты по проверке стабильности и эффективности AgentGym-RL. Наши агенты показали не только схожие или лучшие результаты по сравнению с коммерческими моделями на 27 различных задачах, но и доказали их устойчивость и надежность в различных сложных сценариях. Эти результаты подтверждают жизнеспособность применяемости AgentGym-RL для решения задач, требующих многократных интерактивных решений. ## Значимость AgentGym-RL может использоваться в различных приложениях, включая интеллектуальные помощники, игры, системы управления, а также в области автоматизации решения реальных задач. Одним из основных преимуществ является то, что фреймворк не зависит от супервизированных методов обучения, что позволяет ему быть более универсальным и гибким. Это может способствовать развитию новых стратегий развития интеллектуальных агентов. ## Выводы AgentGym-RL демонстрирует перспективу в развитии систем обучения агентов для решения сложных задач. Мы выделяем основные выводы, отражающие создаваемую эффективность и гибкость фреймворка, и предлагаем ему посвятить будущие исследования для расширения спектра применений и улучшения точности решени