Dream to Chat: Model-based Reinforcement Learning on Dialogues with User Belief Modeling

#### Контекст Общение через текстовые сообщения широко распространено в современном мире. Однако создание удовлетворительного диалогового агента с полноценными способностями понимания и выражения человеческих эмоций, чувств и намерений остается сложной задачей. Основная проблема заключается в том, что диалоговые системы часто не умеют оптимально реагировать на пользователей, не учитывая их эмоциональное состояние и потребности. Это приводит к статичным и неестественным интерактивным моделям. Необходимо разработать модель, которая могла бы учитывать эти аспекты, создавая более естественное и эмоционально интеллектуально обогащенное общение. #### Метод Мы предлагаем **методологию Model-Based Reinforcement Learning (MBRL)** для моделирования диалогов, архитектуру **Dialog World Model (DWM)** и подход **User Belief Modeling (UBM)**. Мир диалога определяется как POMDP (ограниченное неопределенностное подпрограммное моделирование), где пользовательские эмоции, чувства и намерения моделируются как состояние веры пользователя. Данные элементы моделируются с помощью нейронных сетей и анализа текстов. Для решения задачи используется информационное бутонкое моделирование, что позволяет оптимизировать модель диалогового агента. Мы предлагаем фреймворк **DreamCUB**, который объединяет модель диалога, критик и политику в моделировании состояния пользователя. Он позволяет достичь совместного обучения политики, критика и диалоговой модели, чтобы обеспечить более эффективное поведение диалогового агента. #### Результаты Мы провели эксперименты, применяя **DreamCUB** на диалоговых задачах, включая классификацию эмоций и идентификацию сентимента. Модель показала статус **state-of-the-art** в этих задачах, оптимизировав показатели качества и точность. Далее был проведен анализ трансферной способности модели в задачах, например, эмпатических диалогах. Результаты показали, что **DreamCUB** обладает высокой трансферной способностью и может эффективно адаптироваться к новым, неизвестным сценариям. Это подтверждает эффективность использования мира диалогов для моделирования пользовательских эмоций и намерений. #### Значимость Наша модель имеет широкие области применения, включая коммерческие диалоговые системы, медицинский сектор, образовательные приложения и системы поддержки пользователей. Основные преимущества: - Улучшение точности и эмоционального соответствия в диалогах. - Увеличение трансферной способности к новым сценариям. - Оптимальное балансирование между исследованием и использованием в течение интеракции. Потенциальное влияние заключается в том, что **DreamCUB** может стать основой для развития более эмоционально