PGF-Net: A Progressive Gated-Fusion Framework for Efficient Multimodal Sentiment Analysis

## Контекст Задача многомодального анализа тональности — одна из ключевых задач в области естественного языка. Она состоит в выявлении и оценке тональности выражения по отношению к конкретному объекту (например, продукту, услуге или концепции). Традиционные подходы часто сталкиваются со сложностями в учете нескольких модальностей (текст, звук и видео), что приводит к снижению точности и понимания смысла. Недостаточность эффективности и интерпретируемости подходов стала мотивацией для разработки PGF-Net, который предлагает новый подход к решению этой проблемы. ## Метод PGF-Net (Progressive Gated-Fusion Network) использует прогрессивный подход для многомодального анализа тональности. Основная концепция заключается в создании прогрессивного взаимодействия между модальностями в глубоких слоях с помощью Cross-Attention. Это позволяет модели просматривать данные в разных модальностях и формировать контекстные связи. Более того, в PGF-Net используется Adaptive Gated Arbitration, который динамически контролирует вклад каждой модальности, уменьшая влияние шума и повышая стабильность интеграции. Для тонкой настройки используется Parameter-Efficient Fine-Tuning (PEFT), комбинируя глобальную настройку LoRA и локальную регулировку Post-Fusion Adapters. Это уменьшает количество признаков, что делает модель более эффективной с точки зрения ресурсов. ## Результаты Для оценки PGF-Net был использован датасет MOSI. Модель достигла значительных результатов: Mean Absolute Error (MAE) составил 0.691, а F1-Score — 86.9%. Это означает, что PGF-Net не только достиг стандарта лидеров, но и показал эффективность в плане параметров: с 3.09M trainable parameters, что делает ее оптимальной для ресурсораспределенных задач. ## Значимость Преимущества PGF-Net заключаются в следующем: эффективность в анализе многомодальных данных, высокая интерпретируемость результатов, и центральное место, отдаваемое сбалансированному вкладу каждой модальности. Эти качества делают PGF-Net подходящим для приложений в здравоохранении, образовании и маркетинге. Будущие исследования могут сфокусироваться на улучшении модели для новых модальностей (например, текстурных данных) и расширении ее для мультиязычного анализа. ## Выводы PGF-Net представляет собой перспективный подход в многомодальном анализе тональности. Он достиг стабильных результатов на датасете MOSI, комбинируя инновационные методы для улучшения эффективности и точности. Однако, поскольку задача многомодального анализа постоянно развивается, будущие исследования могут сфокусироваться на расширении PGF-Net для новых типов данных и разных сценариев применения.