CEMTM: Contextual Embedding-based Multimodal Topic Modeling

## Контекст Современные мультимодальные модели тематик сталкиваются с вызовами в области обнаружения интерпретируемых и консистентных семантических структур в документах, сочетающих текст и изображения. Особенно актуальным является задача обработки коротких и длинных документов, в которых как текст, так и изображения должны быть корректно проанализированы для выделения тематик. Это важно для приложений в таких областях, как научное издание, социальные сети и образовательные ресурсы. Недостаток существующих моделей заключается в том, что они либо не умеют обрабатывать множество изображений в документе, либо не могут построить выгодную семантическую консистентность между текстом и изображениями. ## Метод CEMTM (Contextual Embedding-based Multimodal Topic Modeling) — современная модель, основанная на контекстном взвешивании эмбеддингов. Она использует граничные модели для обработки языка и изображений, которые преобразуют документ в высококонтекстные эмбеддинги. Механизм распределенного внимания учитывает вклад каждого токена в выявление тематик. Тематические представления синхронизируются с документом с помощью реконструкционной функции, обеспечивая семантическую консистентность между текстом и изображениями. Особенностью CEMTM является возможность обработки нескольких изображений в документе без повторной их кодирования, что экономит ресурсы. ## Результаты Проводились эксперименты на шести мультимодальных бенчмарках, включающих документы с разным содержанием. CEMTM показала значительные выигрыши по сравнению с рядом современных моделей. Она набирает на выборке среднюю оценку LLM близкую к 2.61, что говорит о высокой точности и интерпретируемости модели. Эксперименты показали, что CEMTM эффективна в задачах нескольких выборок и может достаточно хорошо работать в сложных областях, таких как научные статьи. ## Значимость CEMTM может быть применена в различных сферах, включая анализ научных текстов, создание содержимого для социальных сетей, анализ изображений и текста в области образования. Её преимущества заключаются в поддержке нескольких изображений в документе, высокой точности и интерпретируемости результатов. Эта модель может стать решающим шагом в развитии систем совмещающих текст и изображения, а также в улучшении систем понимания естественного языка в комплексных сферах. ## Выводы Результаты CEMTM подтверждают её эффективность в обнаружении тематик в мультимодальных документах. Будущие исследования будут сконцентрированы на улучшении модели для работы с более большими данными, а также на расширении её возможностей для областей, где необходимо учитывать множество мода