LLM-Guided Semantic Relational Reasoning for Multimodal Intent Recognition

## Контекст Осознание человеческих интентов из мультимодальных сигналов является ключевым для анализа поведения и улучшения взаимодействия человека с машиной в реальных условиях. Однако существующие методы страдают от ограничений в модальности-уровне, что приводит к ограниченной реляционной рассуждаемости над тонкой семантикой для понимания сложных интентов. Недостаток неявного понимания интентов через логические связи между модальными сигналами ограничивает эффективность распознавания интентов в сложных сценариях. Данная работа предлагает новую подходящую LLM-Guided Semantic Relational Reasoning (LGSRR), которая использует знания больших языковых моделей (LLMs) для создания семантических основ, что улучшает производительность мелких моделей в реляционном логическом рассуждении. ## Метод LGSRR включает в себя три компонента: (1) **LLM-Based Semantic Extraction Strategy**, которая использует LLM для извлечения тонкой семантической информации; (2) **Chain-of-Thought (CoT) Reasoning Framework**, который автоматически выявляет, описывает и определяет важность семантических признаков; (3) **Formal Semantic Relation Modeling**, основанный на логических принципах, который моделирует и анализирует взаимодействие трех основных типов семантических отношений. Эта архитектура предлагает гибкий и мощный подход для реляционного рассуждения, который не нуждается в предварительно определенных признаковых моделях. ## Результаты Для оценки LGSRR, авторы проводили эксперименты на двух задачах: многомодальном распознавании интентов и распознавании диалоговых актов. Использовались различные данные, включая multimodal-dialogue datasets и диалоговые акты, чтобы проверить эффективность LGSRR. Результаты показали, что LGSRR превосходит текущие методы в понимании мультимодальных интентов, демонстрируя последовательные повышения производительности в различных сценариях понимания и распознавания. ## Значимость LGSRR может использоваться в различных областях, включая HR (Human Resources), customer service, и другие сферы, где распознавание интентов и реляционное рассуждение ключевые для улучшения взаимодействия с пользователем. Наиболее важными преимуществами являются систематический подход к извлечению тонкой семантики, улучшенная точность распознавания интентов и гибкость в использовании различных мультимодальных данных. Этот подход имеет потенциал для дальнейшего улучшения систем взаимодействия человека с машиной, делая их более точными и эффективными. ## Выводы Результаты доказали, что LGSRR превосходит существующие методы в задачах распознавания мультимодальных интентов. Одним из основных достижений является то, что LGSRR может работать с тонкими семантичес