ViExam: Are Vision Language Models Better than Humans on Vietnamese Multimodal Exam Questions?

## Контекст Современные визуально-языковые модели (Vision Language Models, VLM) доказали свою эффективность на широком спектре визуально-языковых задач на английском языке. Тем не менее, их поведение на низкоресурсных языках, особенно в контексте реальных многомодальных образовательных задач, остается неизвестным. Это создает вопрос о том, возможно ли эти модели эффективно использоваться в этих областях. Для заполнения этого пробела мы проводим исследование уровня производительности VLM на визуально-языковых задачах в конкретной низкоресурсной языковой среде — вьетнамском. Это является первым подробным экспериментом, посвященным оценке возможностей VLM в решении образовательных задач на вьетнамском языке. ## Метод Для изучения производительности VLM мы разработали ViExam — бенчмарк, содержащий 2 548 многомодальных вопросов из семи образовательных дисциплин: математика, физика, химия, биология, география, тесты на знание правил дорожного движения, а также ИК-тесты. Мы использовали три популярные Vision-Language Models (CLIP, ALIGN и ViLT), а также их расширенные версии, настроенные на вьетнамский язык. Оценка производительности проводилась с помощью кросс-лингвового подключения инструкций и с помощью взаимодействия с человеком в процессе решения задач. ## Результаты Наши эксперименты показали, что лучшие стандартные модели визуально-языкового моделирования достигли только 57,74% точности, в то время как открытые модели достигли только 27,70%. Только одна модель, ViLT, успешно превысила средний результат человеческого испытуемого (66,54%), набрав 74,07%. Однако она оставалась далеко за пределами идеального результата человека (99,60%). Мы также обнаружили, что кросс-лингвовая модификация с использованием английских инструкций негативно сказалось на производительности моделей, снижая точность на 1%, в то время как взаимодействие с человеком позволило повысить производительность на 5%. ## Значимость Наши результаты имеют значимый потенциал для развития многомодальных моделей для низкоресурсных языков, в том числе вьетнамского. Эти модели могут быть применены в образовательных системах, тестировании, и даже для развития умений человеческого розыгрыша. Мы также показали возможность значительного улучшения производительности, используя технологии взаимодействия с человеком. ## Выводы Мы установили, что текущие Vision Language Models становятся неэффективными в работе с вьетнамскими многомодальными образовательными задачами. Наша работа продемонстрировала необходимость развития национальных моделей, ориентированных на конкретные ре