EPO: Entropy-regularized Policy Optimization for LLM Agents Reinforcement Learning

## Контекст Управляемые языковыми моделями агенты (LLM agents) становятся все более важными в области искусственного интеллекта, особенно при работе в сложных, многократно взаимодействующих средах. Однако обучение таких агентов в средах с многоэтапными задачами и спарсидными наградами оказалось очень вызовом. Эта проблема возникает из-за того, что придерживаться высоко энтропийных стратегий становится сложно в результате эксплоатейшена и беспорядка в данных. Однако слишком низкая энтропия приводит к упущению новых возможностей. Лежит основой проблемы недостаток регуляризации, которая могла бы помочь сохранять баланс между эксплорэйшеном и эксплойтейшеном. Это ставит дополнительные требования к методологиям RL, которые должны быть адаптированы к таким специфичным условиям. ## Метод Мы предлагаем **Entropy-regularized Policy Optimization (EPO)**, новая архитектура для обучения LLM-агентов в таких условиях. Работа EPO основывается на трех ключевых механизмах: 1. **Энтропийная регуляризация в многократных взаимодействиях**. Это помогает сохранить баланс между эксплорэйшеном и эксплойтейшеном в режиме многократных взаимодействий. 2. **Сглаживание энтропии**. Это регуляризатор ограничивает энтропию политики в пределах исторических средних значений, чтобы избегать абRUPTных игр. 3. **Адаптивное взвешивание фаз**. Это помогает гармонизировать эксплорэйшен и эксплойтейшен в разных этапах обучения. Разработанная методология используется в сочетании с настройкой сетей и адаптивным наблюдением, чтобы обеспечить стабильность и эффективность. ## Результаты Мы провели эксперименты на двух основных наборах данных: **ScienceWorld** и **ALFWorld**, где наблюдались многоэтапные задачи с малой наградой. В результате, EPO показал до 152% улучшения конверсии на ScienceWorld и 19.8% на ALFWorld. Эти результаты показывают, что EPO не только выигрывает над традиционными методами, но и доказывает свою эффективность в таких сложных средах. Наша архитектура успешно сохраняет энтропию, обеспечивая баланс между ранним закреплением и поздней коллапсом политики. ## Значимость Результаты EPO имеют широкие применения в области обучения языковым моделям в многократных взаимодействиях. В частности, EPO может применяться в следующих сферах: - **Контроль качества в играх и интерактивных системах.** - **Управление роботами и социальными системами.** - **Прототипирование новых технологий для обучения агентов с многоэтапными задачами.** EPO не только улучшает существующие методы RL, но и открывает новую площадку