A Cross-Modal Rumor Detection Scheme via Contrastive Learning by Exploring Text and Image internal Correlations

#### Контекст Румурная деятельность в современных социальных сетях широко распространена и может иметь серьезные последствия, в том числе ущерб репутации, финансовые потери и даже угрозы безопасности. Однако автоматическое распознавание румурных сообщений остается вызовом, в связи с тем, что люди часто выражают свои мнения в виде комбинации текста и изображений, которые могут содержать ключевую информацию для распознавания румурности. Настоящая статья направлена на изучение этих проблем, с целью разработать более эффективный подход к распознаванию румурных сообщений, используя методы мультискалевого анализа и контрастного обучения. #### Метод Метод, предложенный в статье, основывается на методе контрастного обучения, а именно на алгоритме Multi-scale Image and Context Correlation exploration (MICC). Основной идеей является создание объединенных семантических векторов для текста и многомерных образов с помощью SCLIP-энкодера. Этот энкодер обучается с помощью метода contrastive pretraining, что позволяет измерить взаимную связь текста и изображений через dot-product similarity. Далее, введен модуль Cross-Modal Multi-Scale Alignment, который использует Top-K selection strategy для выделения наиболее релевантных областей изображений в контексте текста. Это достигается с помощью cross-modal relevance matrix и максимизации mutual information. Наконец, scale-aware fusion network используется для объединения многомерных фичей изображений с глобальными текстовыми фичами, присваивая адаптивные весы на основе семантической важности и cross-modal relevance. #### Результаты Проведены эксперименты на двух реальных датасетах, чтобы оценить эффективность предложенного метода. Результаты показали, что MICC существенно превосходит существующие методы в задаче распознавания румурных сообщений. Особенно выдающимися результатами оказалось улучшение accuracy, F1-score и recall. Эти результаты подтверждают многомерность и эффективность применения контрастного обучения в задачах кросс-модального распознавания. #### Значимость Предложенная модель может быть применена в различных сферах, таких как мониторинг социальных сетей, борьба с массовыми паничными и распространением вирусов информации. Основные преимущества MICC заключаются в том, что он учитывает многомерные связи между текстом и изображениями, обеспечивая более точное и достоверное распознавание румурных сообщений. Потенциальное влияние метода заключается в повышении точности распознавания и уменьшении ложных срабатываний, что может существенно повысить качество работы моделей в приложениях в режиме реального времени. #### Выводы Результаты предложенного метода MICC показывают, что контрастное обучение может значительно повысить эффективность распознавания румурных соо