MME-SCI: A Comprehensive and Challenging Science Benchmark for Multimodal Large Language Models

## Контекст В последние годы multimodal large language models (MLLMs) показали существенный прогресс в различных областях, в том числе в смежных с машинным обучением. Эти модели обладают возможностью обрабатывать несколько типов данных одновременно, что позволяет использовать их для решения широкого спектра задач. Однако, несмотря на их успех, оценка их разумности и покрытия всех модальностей (включая текст, изображения и звук) в сложных сценариях остается сложной. Это особенно важно в области научных задач, где необходимо, чтобы модели правильно интерпретировали и выводили знания из различных источников. Существующие бенчмарки в этой области, как правило, не полностью охватывают все аспекты, необходимые для глубокого анализа моделей. Таким образом, необходимо разработать бенчмарк, который был бы более всесторонним, вызовом для существующих моделей и, при этом, позволял бы детально проанализировать их преимущества и недостатки. ## Метод MME-SCI представляет собой новый бенчмарк, состоящий из 1,019 высококачественных тестовых наборов, разработанных для оценки возможностей моделей в области научных задач. Данные тестовые наборы поддерживают 3 различных режима оценки: текст только, изображение только и сочетание текста и изображения. Бенчмарк охватывает четыре научных предмета: математика, физика, химия и биология, и работает с пятью языками: китайский, английский, французский, испанский и японский. Методология основывается на том, что каждый тестовый набор включает в себя задачу, которая требует глубокого понимания научных понятий и их взаимосвязей. Для создания бенчмарка были использованы методы сбора данных, включая поиск в открытых источниках и создание новых данных специально для этого целевого назначения. Этапы разработки включали в себя оптимизацию архитектур, проверку качества данных и тщательную проверку многоязычности и многомодальности. ## Результаты Проведены тщательные эксперименты с использованием 16 опен-сорс моделей и 4 закрытых моделей. Результаты показали, что MME-SCI представляет собой сложный бенчмарк, на котором многие модели сталкиваются с трудностями. Например, под режимом Image-only, модель o4-mini показала только 52.11% точности в математике, 24.73% в физике, 36.57% в химии и 29.80% в биологии. Это значительно меньше, чем результаты на других бенчмарках, что свидетельствует о высокой сложности MME-SCI. Более того, мы применяли многоязычность и детальные атрибуты знаний для получения более глубокого анализа производительности моделей в отдельных научных областях. Это позволило выявить сла