Stabilizing Long-term Multi-turn Reinforcement Learning with Gated Rewards

Тема: Stabilizing Long-term Multi-turn Reinforcement Learning with Gated Rewards ## Контекст Длиннострочные задачи в reinforcement learning (RL) часто сталкиваются с проблемой разреженности вознаграждений. Такие задачи требуют многократного взаимодействия с системой, прежде чем достичь целей. Существующие методы формирования наград либо не способны определять полезные непосредственные награды, либо вводят избыточные предположения или требуют подробной декомпозиции задачи. Это приводит к несоответствию между непосредственными наградами и долгосрочными целями, что может привести к ошибкам в формировании политик. Другой подход, основанный на верификации, использует шагающие критики для формирования наград, но даже здесь могут возникнуть проблемы с гибридностью между непосредственными наградами и долгосрочными целями. Мы сосредоточились на области программного обеспечения (SWE), где многократное взаимодействие и верификация играют ключевую роль. Целью нашего исследования является стабилизация многократных задач RL через более эффективное формирование наград. ## Метод Мы предлагаем SWE-oriented RL Framework, который объединяет несколько ключевых компонентов: поддержку многократного взаимодействия, тонкую настройку ре wards, а также интеграцию с docker-based execution. Для решения проблемы разреженности наград мы предлагаем Gated Reward Accumulation (G-RA), метод, который ограничивает формирование непосредственных наград, пока долгосрочная награда не достигнет заданного порога. Это позволяет избежать быстрого изменения поведения агента и обеспечить стабильное оптимизационное поведение. Мы также предоставляем гибкую архитектуру для настройки наград, что позволяет адаптировать решение к разным задачам в SWE. ## Результаты Мы проверили G-RA на двух реалистичных SWE-задачах: Verified и kBench. Результаты показали, что метод G-RA существенно улучшил процент успешных завершений задач: с 47.6% до 93.8% для Verified и с 22.0% до 86.0% для kBench. Также обнаружено, что выполнение политик стало более стабильным, не испытывая деградации, что характерно для разреженных наград. Эти результаты свидетельствуют о том, что G-RA успешно решает проблему разреженности наград, обеспечивая более стабильное и эффективное оптимизационное поведение. ## Значимость Наш подход может быть применен в различных SWE-задачах, где требуется многократное взаимодействие и верификация. Он предоставляет значительные преимущества по сравнению с традиционными методами, такими как улучшенная стабильность политик, увеличенные успешные завершения задач и сниженная вероятность ошибок. Этот подход также открывает новые возможности для применения RL в слож