UserRL: Training Interactive User-Centric Agent via Reinforcement Learning

## Контекст Рейнфорсментное обучение (RL) позволяет тренировать агентные модели, двигающиеся за пределами статичных бенчмаров к динамичным, многократным взаимодействиям. Однако их реальное значение заключается в возможности помогать пользователям. Диверсификация и динамика пользовательских взаимодействий создают серьезные вызовы. Мы предлагаем UserRL — универсальный фреймворк для обучения и оценки пользовательских способностей с помощью стандартизированных сред обучения (Gym) и симуляторов пользователей. Это позволяет изучить влияние различных формулировок награды и моделей пользователей на обучение. ## Метод UserRL основывается на симуляторах пользователей для моделирования различных стилей взаимодействия. Мы изменяем награды на каждом шаге и по ходу взаимодействия, анализируя их влияние на обучение через алгоритм Gradient-Based Policy Optimization (GRPO). Мы использовали модели Qwen3 разных размеров для изучения этих эффектов. Кроме того, мы сравнили открытодоступные симуляторы (например, Qwen3-32B) с сильнейшими симуляторами (например, GPT-4o) для оценки эффективности. ## Результаты Наши эксперименты показали, что: (i) запуск RL с холодного старта, используя только сильный симулятор, позволяет краткосрочно приобрести базовые навыки, но не достаточно для долгосрочных улучшений; (ii) целенаправленная оценка траекторий (включая изменение веса разных шагов) значительно улучшает качество обучения и эффективность взаимодействий; (iii) открытые симуляторы, несмотря на меньшую мощность, оказываются практичными и трансферируемыми для реальных сценариев. Эти находки подтверждают, что тщательно проработанные награды и симуляторы моделей пользователей являются ключевыми факторами, успешной тренировки агентов. ## Значимость UserRL может применяться в различных областях: улучшения пользовательских систем, обучение моделей для чатботов, систем поддержки решений и т.д. Его преимущества включают в себя универсальность, легкость развертывания и эффективность. Этот фреймворк может влиять на развитие интерактивных агентов, делая их более эффективными и полезными для пользователей. ## Выводы Мы показали, что UserRL эффективен для тренировки моделей, взаимодействующих с пользователями. Он может стать значительным шагом в развитии пользователь-центричных агентов. Мы планируем расширить фреймворк, включив более сложные модели пользователей и более сложные сценарии взаимодействия.