Structure-aware Contrastive Learning for Diagram Understanding of Multimodal Models

#### Контекст В последние годы multimodal models, такие как Contrastive Language-Image Pre-training (CLIP), показали исключительную эффективность в объединении визуальной и языковой информации. Однако эти модели сталкиваются с ограничениями при работе в специализированных визуальных областях, таких как диаграммы. Диаграммы отличаются своей структурой и символическим характером, отличным от природной имагии. Наша мотивация заключается в развитии методов, которые помогут моделям лучше понимать и работать с такими специализированными визуальными данными. #### Метод Мы предлагаем новую парадигму тренировки, которая направлена на улучшение понимания диаграмм внутри vision-language моделей. Наш подход использует "жесткие" примеры для продвинутого варианта contrastive learning, включающего два специальных целевых функции. Эти функции акцентуются на интересующих структурных свойствах диаграмм. Мы интегрируем эти целевые функции в процесс обучения модели, чтобы она могла более точно и семантически ценно понимать визуальный контент. #### Результаты Мы проверили нашу модель на датасете, содержащем flowcharts, как стандартный класс диаграмм. Наши результаты показали значительные улучшения по сравнению с стандартным CLIP и обычным hard negative learning. Мы измерили эффективность в tasks, таких как image-text matching и visual question answering, и показали, что наш подход значительно повышает точность и семантическое понимание. #### Значимость Наш подход может применяться в различных областях, где используются диаграммы, таких как образование, проектирование и анализ данных. Преимущества включают улучшенное понимание структуры диаграмм, более точную интерпретацию и высокую эффективность в задачах, требующих визуально-языкового понимания. Этот работ позволяет расширить возможности vision-language моделей, сделав их более универсальными и эффективными в специализированных визуальных задачах. #### Выводы Мы доказали, что целевое обучение структурной информации в диаграммах может значительно улучшить понимание vision-language моделей. Наша работа открывает новые возможности для развития моделей, которые будут более эффективно работать с символическими и структурированными визуальными данными. Мы планируем дальнейшее исследование в этой области, включая расширение применения наших методов к другим типам диаграмм и мультимодальным задачам.