Beyond Words: Enhancing Desire, Emotion, and Sentiment Recognition with Non-Verbal Cues

## Контекст Дизайн новых технологий, ориентированных на понимание человеческих эмоций, желаний и сентиментов, является важной задачей для создания удобных и эффективных систем интеракции. Несмотря на значительные успехи в области мультимодального обучения, понимание человеческого желания в контексте эмоций и сентиментов остается недостаточно исследованой областью. Дополнительно, существующие методы анализа сентимента часто ориентируются на текстуальные данные и недостаточно используют изображения как важные невербальные подсказки. Это приводит к несостоятельной интерпретации желаний и чувств. Мы предлагаем метод, который адресует эти проблемы, используя симметричную бибидоренциальную мультимодальную модель для понимания желаний, эмоций и сентиментов. ## Метод Мы предлагаем Symmetrical Bidirectional Multimodal Learning Framework (SyDES), который вводит симметричный подход для объединения текста и изображений. Метод использует низкорезольвентные изображения для получения глобальных визуальных представлений, которые используются для выравнивания кросс-модального анализа. Для улучшения понимания тонкой гранулярности изображений используется маскированная модель обработки изображений, разделяющая изображения на подчасти и обрабатывающая их по отдельности. Для углубленного кросс-модального взаимодействия между текстом и изображением мы вводим декодеры, которые работают в обоих направлениях: текст-гидрированный изображения и изображение-гидрированный текст. Для эффективного использования ресурсов мы вводим также стратегию смешанных масштабов, где изображения разбиваются на подчасти для обучения на низких резольюциях. ## Результаты Мы проводим эксперименты на датасете MSED, который включает данные для понимания желаний, анализа эмоций и сентимента. Наши результаты показывают улучшение показателей F1-score: на 1.1% для понимания желаний, 0.6% для эмоционального анализа, и 0.9% для сентиментального анализа. Этот результат обосновывает эффективность нашего подхода в сравнении со стандартными методами. Мы также проведем детальный анализ того, как мультимодальные представления снижают ошибки в предсказаниях, особенно в случае недостаточного текстового контекста. ## Значимость Метод SyDES может применяться в различных областях, включая социальные сети, мобильные приложения для анализа эмоций и сентиментов, а также консультационные системы. Он предлагает значительные преимущества по сравнению с другими подходами, в том числе высокую точность в распознавании чувств и желаний, а также улучшение возможностей для невербального анализа. Мы считаем, что наш метод может стать основой для развития новы