MDK12-Bench: A Comprehensive Evaluation of Multimodal Large Language Models on Multidisciplinary Exams

## Контекст Многоинтенсивные модели языка (МЛМ), которые объединяют языковые и визуальные сигналы для решения задач, являются ключевым инструментом для продвижения искусственного общего разума (АОР). Однако существующие бенчмарки, используемые для оценки интеллекта МЛМ, имеют ограниченный размер, ограниченное покрытие и неструктурированные данные, что приводит к простым и неполным оценкам. Для заполнения этой разрыва мы предлагаем MDK12-Bench — большой государственный бенчмарк, созданный на основе реальных экзаменов K-12, охватывающий шесть дисциплин, 141 тысячи экземпляров и 6,225 знаний, организованных в шестиуровневую таксономию. Он покрывает пять форматов вопросов с присутствием сложности и временных изменений. Это позволяет проводить сложные оценки, охватывающие 4 аспекта: уровни сложности, временные (кросс-годовые) изменения, контекстные изменения и аспекты, основывающиеся на знаниях. Мы предлагаем динамический фреймворк для оценки, который включает незнакомые визуальные, текстовые и форматы вопросов, чтобы повысить уровень отчуждения и улучшить объективность и долговечность бенчмарка. Также мы рассматриваем знание-указание поддерживаемой генерации (KP-RAG) для изучения роли знаний в решении задач. Основные выводы показывают ограничения текущих МЛМ в нескольких аспектах и дают рекомендации для повышения их устойчивости, толерантности и вклада в область AI-поддерживаемого обучения. ## Метод Мы разработали MDK12-Bench, который включает 141 тысяч задач, распределенных по шести дисциплинам стандарта K-12, и включает 6,225 знаний, организованных в шестиуровневую таксономию. Выборка включает в себя пять форматов вопросов (мультиплейр, мультипозиционный, сравнение, текстовый, графический) с добавлением временных и сложностных характеристик. Мы предлагаем динамический фреймворк для оценки, который включает незнакомые визуальные, текстовые и форматы вопросов, чтобы повысить уровень отчуждения и улучшить объективность и долговечность бенчмарка. Мы также исследуем знание-указание поддерживаемой генерации (KP-RAG) для изучения роли знаний в решении задач, включая различные типы визуальной и текстовой информации. ## Результаты Мы провели эксперименты с 12 МЛМ, включая различные модели с разным количеством параметров и типов входных данных. Мы оценивали их по уровню сложности, временным изменениям, контекстным изменениям и их возможности к знаниям-указаниям. Наши результаты показали, что ни одна модель не показала высокую производите