Re:Verse -- Can Your VLM Read a Manga?

## Контекст Модели Vision Language Models (VLMs) позволяют обрабатывать и анализировать текстовые и визуальные данные, однако существует существенная проблема в их понимании последовательных визуальных историй. Это связано с ограниченным пониманием логики и контекста, а также с недостатком в глубоком рассуждении последовательностей. Особенно заметна эта проблема при обработке манги, которая требует не только интерпретации отдельных кадров, но и умения сопоставлять их в целостную, логичную историю. Наша исследовательская цель заключается в изучении этой проблемы и предложении решения, которое позволит VLMs лучше понимать и рассуждать над визуальными историями. ## Метод Мы разработали совершенно новую методологию для измерения и изучения глубины понимания VLMs в области визуальных историй. Метод нашего подхода включает три ключевых аспекта: (i) создание нового протокола аннотации, который связывает визуальные элементы с текстовым содержимым, (ii) разработка ряда задач, включая генерирование рассказов, контекстная звуковая трассировка и применение расширенного анализа, (iii) использование кросс-модального анализа для выявления недостатков в совместных представлениях VLMs. Мы применили эти методы к манге "Re:Zero", проанализировав 11 глав с 308 аннотированными кадрами. Это позволило нам получить подробный анализ проблем, с которыми сталкиваются VLMs при обработке последовательных историй. ## Результаты Наши результаты показали, что текущие VLMs имеют существенные ограничения в нелинейных историях, в том числе в управлении характерами, контекстной звуковой трассировке и логической связи между кадрами. Они систематически проваливаются в тестах на временное рассуждение и контекстное понимание. Обнаружились значительные несоответствия в многомодальных представлениях, которые сказываются на их выполнении. Наша новая модель демонстрирует существенное улучшение в сравнении с традиционными VLMs, но также выявляет глубинные ограничения в их понимании. ## Значимость Наша работа имеет большое значение для области глубокого рассуждения визуальных историй. Она может быть применена в различных областях, таких как робототехника, искусственный интеллект в медиа и развитие новых методов обучения. Наш подход предоставляет новый способ измерения и сравнения VLMs, а также позволяет расширять возможности понимания визуальных историй для пользователей. ## Выводы Мы установили новый стандарт для оценки глубины понимания визуальных историй VLMs. Однако текущие модели по-прежнему страдают от широких ограничений в логическом и контекстном понимании