TalkToAgent: A Human-centric Explanation of Reinforcement Learning Agents with Large Language Models

## Контекст Область исследования — **Explainable Reinforcement Learning (XRL)** — становится все более важной для повышения прозрачности и понимания действий агентов в сложных средах моделирования. Актуальность XRL обусловлена необходимостью объяснения агентских решений для доверия пользователей и эффективности применения в реальных ситуациях. Однако существуют проблемы: многие XRL-методы оказываются недостаточно интуитивными для широкого круга пользователей, в том числе для доменных экспертов. Это приводит к тому, что пользователи сложно понимают, какие инструменты XRL использовать для получения ответа на конкретный вопрос. Метод TalkToAgent предлагает решение этой проблемы, объединяя в себе несколько штурмовых генеративных моделей, чтобы обеспечить интерактивные и понятные объяснения для пользователей. ## Метод TalkToAgent является фреймворком, основанным на **LLM (Large Language Models)**, который использует 5 специальных моделей: **Coordinator**, **Explainer**, **Coder**, **Evaluator** и **Debugger**. Каждая модель отвечает за свою часть процесса: - **Coordinator** — выбирает релевантные XRL-инструменты на основе пользовательского запроса. - **Explainer** — объясняет поведение агента в человеческой речи. - **Coder** — создает и запускает новые модели, если это необходимо. - **Debugger** — исправляет или модифицирует модели, если результаты неверны. - **Evaluator** — проверяет результаты на соответствие ожиданиям. Этот подход позволяет пользователю задавать вопросы в естественной речи и получать понятные ответы, включая **counterfactual explanations**, которые позволяют понять, что произошло бы в случае изменения определенных параметров. ## Результаты Исследование было проведено на **quadruple-tank process control problem**, являющемся хорошо известным нелинейным бенчмарком для проверки систем управления. TalkToAgent показал высокую точность в сопоставлении пользовательских запросов с XRL-задачами. Механизм **coder-debugger** эффективно исправлял ошибки в процессе генерации counterfactual explanations. Также проведенная квалитиативная оценка подтвердила, что TalkToAgent успешно интерпретировал действия агента и сформулировал их в контексте задачи. ## Значимость TalkToAgent может быть применен в различных областях, где требуется понимание и объяснение действий агентов, например: - **Реальному времениуправлению** — для того, чтобы помочь экспертам понять поведение сложных систем. - **Индустрии** — для улучшения доверия в решениях, связанных с управлением производства. - **Экономике и финансах** — для повышения прозрачности в автоматизированных системах трейдинга. Преимущества TalkToAgent заключаются в интерактивной природе и понятности его ответов, что делает его подходом привлекательным для широкого круга пользователей. Будущие исследования будут сфоку