Re:Verse -- Can Your VLM Read a Manga?

Да ## Контекст Многомодальные модели (Multimodal Models, VLMs) широко используются для обработки и анализа изображений и текста в сочетании. Однако они часто стремятся к пониманию поверхностных признаков, не достигая глубокого развития логического и последовательного рассуждения. Это особенно важно при обработке последовательной визуальной истории, такой как манга, где требуется интерактивное умение понимать текст, изображения и связь между ними. Наша мотивация заключается в изучении этих проблем и развитии методов для улучшения понимания последовательных визуальных историй. ## Метод Мы представляем новую фреймворк для оценки возможностей моделей многомодального понимания в манге. Основные элементы нашего подхода: 1. **Аннотационный протокол** — связь визуальных элементов с текстовой историей, используя текст связанных легких романов. 2. **Многоуровневый процесс оценки** — включающий непосредственную интерпретацию, рассуждение по тексту, и кросс-модальную аналитику. 3. **Применение генеративных моделей** — для оценки моделей на производительности в трех ключевых областях: генерирование последовательного текста, контекстуальное обоснование диалога и разумное понимание времени в последовательности. ## Результаты Мы провели анализ на 11 главах манги Re:Zero, содержащих 308 отмеченных панелей. Наши результаты показали, что текущие модели способны правильно интерпретировать отдельные панели, но систематически не могут построить глубокую взаимосвязь между панелями. Например, модели слабо выполняют задачи, которые требуют понимания временных событий или характеров. Наши результаты также показали, что модели часто пропускают нелинейные сюжетные линии и не могут верно оценивать контекстную когницию. ## Значимость Наша работа имеет значимость в следующих областях: - **Применение** — модели могут быть использованы для улучшения взаимодействия с пользователем в сценариях, где необходим глубокий рассужденный подход к изображениям и тексту. - **Преимущества** — наше подход создает новый стандарт для оценки и понимания последовательных визуальных историй, который может быть применен в области роботов-компаньонов, мультимедийной системы и визуальных историях. - **Потенциальное влияние** — наша работа может способствовать улучшению глубокого понимания последовательных моделей, что в свою очередь повысит качество интерактивных систем. ## Выводы Наши исследования установили систематические ограничения текущих моделей в многомодальном понимании последовательных визуальных историй. Мы представили новую методологию, позволяющую си