Benchmarking and Improving LVLMs on Event Extraction from Multimedia Documents

## Контекст Современный мир охвачен всемиконный потоком мультимедийной информации. Это создает необходимость в развитии систем, способных эффективно извлекать информацию из мультимедийных документов. Одним из сложных практических задач этого класса является **Мультимедийное Извлечение Событий (M2E2)**. Оно заключается в выделении событий из текста и изображения, что требует глубокого понимания кросс-модальных связей. Несмотря на прогресс в области крупных зрения-языковых моделей (LVLMs), их потенциал в M2E2 остается малоизученным. Целью настоящего исследования является осмысление этих моделей в контексте M2E2, а также оценка и улучшение их эффективности. ## Метод Для изучения особенностей LVLMs в M2E2 использованы **DeepSeek-VL2** и **Qwen-VL** - представители крупных моделей с кросс-модальными возможностями. Методология основывалась на оценке моделей по трем субзадачам M2E2: **текстовому**, **изображению-только** и **кросс-задаче**. Оценка проводилась в двух режимах: **небольших данных (few-shot)** и **полноценной файнтюнинг-оценке**. Для улучшения моделей использовался подход с **LoRA** (Low-Rank Adaptation), дающий возможность адаптировать модель к конкретной задаче. Использовались данные из **M2E2-dataset**, который представляет собой широко известный ресурс для развития M2E2-систем. ## Результаты Опытные исследования показали, что **небольшие данные в LVLMs** дают лучшие результаты на **визуальных задачах**, но при этом сильно страдают на задачах, связанных с текстом. Файнтюнинг с использованием LoRA привел к значительному повышению производительности моделей, особенно на текстовых задачах. Обнаружена сильная **синергия кросс-модальных моделей** при объединении зрения и языка. Однако, существуют недостатки: LVLMs страдают от недостатка **семантической точности**, **локализации** и **кросс-модального уточнения**. Это отражается в ошибках, связанных с недостаточной точностью определения смысла, сложностями в локализации событий и недостаточной связи между текстом и изображением. ## Значимость Результаты имеют применение в развитии систем, позволяющих эффективно извлекать события из мультимедийных документов. Это имеет большое значение для применений в сферах **новостных систем**, **рекламного анализа** и **поиска информации**. Одним из преимуществ является улучшение локальной и кросс-модальной точности, что облегчает понимание и интерпретацию мультимедийных данных. Такое исследование может способствовать развитию **систем умных помощников** и **анализа массовых мультимедийных источников**. ## Выводы Настоящее