Mutual Information Tracks Policy Coherence in Reinforcement Learning

## Контекст Многие современные Reinforcement Learning (RL) системы применяются в реальном времени в сложных и нестабильных средах. Однако эти системы часто сталкиваются с ограничениями, такими как поломки сенсоров, износ актуаторов и изменения окружающей среды. Эти проблемы могут привести к деградации производительности и непредсказуемости поведения агента. Несмотря на развитие методов RL, не существует достаточно эффективных механизмов для диагностики и адаптации во время выполнения. Отсутствие таких механизмов ограничивает широкое развертывание RL в критичных приложениях, где достоверность и надежность критичны. Целью данной работы является разработка информационно-теоретического фреймворка для выявления и мониторинга динамики RL, а также для извлечения практических инсайдов, которые позволят определять и корректировать неполадки в системах RL во время их работы. ## Метод Мы предлагаем информационно-теоретический подход, основанный на измерении взаимной информации (Mutual Information, MI) между состояниями, действиями и следующими состояниями в RL-системах. Исследования проводились в рамках роботизированного контроля, где использовались тестовые задачи для оценки характеристик информационного поведения агента. Мы разработали методы для измерения MI между состоянием и действием (MI(S, A)), а также между состоянием, действием и следующим состоянием (MI(S, A; S')). Эти метрики были использованы для анализа динамики обучения и для выявления недостатков в системе. Для эмпирического обоснования, мы проводили эксперименты, в которых вводили контролируемые помехи в состояниях и действиях, чтобы исследовать диагностическую способность нашего подхода. ## Результаты Наши эксперименты показали, что успешное обучение RL сопровождается очертанием особых информационных сигнатур. Например, MI(S, A) увеличивается во время обучения, что указывает на то, что агент научился выбирать более значимые действия в зависимости от состояния. Однако MI(S, A; S') демонстрирует инвертированный У-образный тренд, начиная с высоких значений в начале обучения и переходя в низкие значения по мере специализации агента, что указывает на переход от широкой эксплуатации к эффективной эксплуатации. Более того, мы продемонстрировали, что информационные метрики позволяют выявлять различные типы ошибок в системе. Например, шум в обзорном пространстве (например, отказ сенсора) приводит к общему снижению всех информационных каналов, в том числе MI(S, A), что указывает на общую деградацию. Напротив, шум в пространстве действий (например, отказ актуатора) оказывает специфич