Sample Efficient Experience Replay in Non-stationary Environments
2509.15032v1
cs.LG, cs.AI, cs.NI
2025-09-20
Авторы:
Tianyang Duan, Zongyuan Zhang, Songxiao Guo, Yuanye Zhao, Zheng Lin, Zihan Fang, Yi Liu, Dianxin Luan, Dong Huang, Heming Cui, Yong Cui
Резюме на русском
#### Контекст
Область исследования — reinforcement learning (RL) в нестационарных средах, где изменение динамики и вознаграждений нестабильные средищи в предыдущие опыты. Это создает трудности для традиционных методов опытного реплея (ER), включая приоритезацию на основе TD-error, которые не могут отличать изменения, вызванные политикой агента, и изменениями в самой среде. Такая неоднородность приводит к эффективности узкой эр. Для решения этой проблемы необходимо развитие подходов, которые были бы более эффективными в понимании изменений среды и приемлемыми в транзитных процессах.
#### Метод
Мы предлагаем Discrepancy of Environment Dynamics (DoE) — метрику, которая изолирует влияние изменений среды на value functions. На основе этой метрики разработан Discrepancy of Environment Prioritized Experience Replay (DEER) — адаптивный ER-фреймворк, который приоритизирует транзакции, учитывая как политические обновления, так и изменения в среде. DEER включает в себя бинарный классификатор для обнаружения изменений среды и применяет различные стратегии приоритезации перед и после каждого изменения. Это позволяет эффективно реагировать на изменения в среде и оптимизировать обучение.
#### Результаты
Мы провели эксперименты на четырёх бенчмарках нестационарных сред. Использовались данные, представляющие различные условия нестационарности. Результаты показали, что DEER улучшает производительность off-policy алгоритмов на 11,54% по сравнению с лучшими современными ER-методами. Эти результаты указывают на эффективность DEER в уменьшении неэффективности обучения в нестационарных условиях.
#### Значимость
DEER может применяться в различных технологических областях, где нестационарные условия являются природной частью процессов — например, в развитии систем управления, систем самообучения и прогнозирования. Главное преимущество DEER заключается в более эффективном использовании примеров в условиях нестабильности, что может привести к более быстрому и точному обучению алгоритмов RL. Дальнейшие исследования могут обобщить DEER на более широкие классы задач и сред.
#### Выводы
Мы разработали Discrepancy of Environment Prioritized Experience Replay (DEER) — метод, который эффективно распознает и адаптируется к изменениям в среде в нестационарных условиях. Эксперименты показали, что DEER повышает эффективность обучения на 11,54% по сравнению с текущими методами. Будущие исследования будут направлены на расширение DEER для более широких классов задач и окружений.
Abstract
Reinforcement learning (RL) in non-stationary environments is challenging, as
changing dynamics and rewards quickly make past experiences outdated.
Traditional experience replay (ER) methods, especially those using TD-error
prioritization, struggle to distinguish between changes caused by the agent's
policy and those from the environment, resulting in inefficient learning under
dynamic conditions. To address this challenge, we propose the Discrepancy of
Environment Dynamics (DoE), a metric that isolates the effects of environment
shifts on value functions. Building on this, we introduce Discrepancy of
Environment Prioritized Experience Replay (DEER), an adaptive ER framework that
prioritizes transitions based on both policy updates and environmental changes.
DEER uses a binary classifier to detect environment changes and applies
distinct prioritization strategies before and after each shift, enabling more
sample-efficient learning. Experiments on four non-stationary benchmarks
demonstrate that DEER further improves the performance of off-policy algorithms
by 11.54 percent compared to the best-performing state-of-the-art ER methods.
Ссылки и действия
Дополнительные ресурсы: